CUETools для определения статуса и повторов в lossless-разделах

Страницы:  1
Ответить
 

KYOI

VIP (Пользователь)

Стаж: 17 лет 1 месяц

Сообщений: 853

KYOI · 29-Май-26 19:25 (1 месяц 12 дней назад, ред. 19-Июн-26 11:16)

Коллеги!
Все действующие правила модерации lossless-разделов на трекере писались до CUETools, этого мощного средства проверки рипа. Тогда можно было полагаться только на качество риппера и правильность его настроек. Именно поэтому подлинность рипа и наличие дубликатов у нас до сих пор определяются по старинке: наличием лога, выбором конкретного риппера и его настройками.
Однако технологии давно ушли вперед. Сегодня в стопроцентной правильности и аутентичности рипа можно убедиться, всего лишь взглянув на две строчки в отчете утилиты CUETools:
[CTDB TOCID: 01e6KyeO_YlZyg4bt6Vx_KriV8A-] found. и [AccurateRip ID: 000fc12d-0094137d-9508ef0c] found.
Если контрольные суммы рипа успешно найдены в этих глобальных базах данных, абсолютно не важно, каким именно софтом или с какими настройками оффсета он был получен — этот рип по факту является точной цифровой копией и достоин статуса «Проверено». Текстовый лог с идеальными настройками привода по-прежнему должен оставаться весомым аргументом, но только в одном случае: если диск редкий, новый, и его пока просто нет в базах AccurateRip/CTDB.
Масштаб проблемы: Аудит дискографии Emerson, Lake & Palmer
Чтобы наглядно доказать, что математические алгоритмы CUETools подходят для выявления скрытых повторов несоизмеримо лучше, чем ручное сличение текстовых логов EAC, я провел полный аудит крупного массива данных: проанализировал 281 диск в 61 раздаче ELP.
Значения CTDB TOCID и сквозного хэша звука [W/O NULL], вместе со ссылками на темы и четкими маркерами, я свел в единую интерактивную таблицу (прикреплена к топику). Результаты системного анализа:
У 35 изданий обнаружено 44 скрытых и явных повтора (15.6% всей выборки!). Каждая седьмая раздача дублирует один и тот же звук.
Из них ровно половина (22 рипа) — полные физические дубли (**F).
15 рипов — скрытые повторы, у которых совпадает только хэш звука [W/O NULL] (**Н).
7 рипов — скрытые повторы, у которых совпадает только геометрия диска CTDB TOCID (**Т).
Давайте на конкретных примерах из логов разберем две главные слепые зоны текущих правил, из-за которых эти 22 раздачи (Н и Т) легально сосуществуют на трекере.
1. Совпадение только [W/O NULL] (Проблема смещения пауз / прегапов)
Вот пара дисков Pictures At An Exhibition из дискографии https://rutr.life/forum/viewtopic.php?t=4902685:
1971. Pictures At An Exhibition (1993, Victory, France, 828 466-2)

[CUETools log; Date: 27-May-26 10:35:23; Version: 2.2.6]
Pregap length 00:00:33.
[CTDB TOCID: IEn9g9g6RVX6niHDJ0V_eMe6HKg-] found.
Track | CTDB Status
1 | (241/243) Accurately ripped
2 | (241/243) Accurately ripped
3 | (241/243) Accurately ripped
4 | (239/243) Accurately ripped, or (1/243) differs in 4 samples @04:06:32
5 | (240/243) Accurately ripped
6 | (240/243) Accurately ripped
7 | (241/243) Accurately ripped
8 | (241/243) Accurately ripped
9 | (240/243) Accurately ripped
10 | (241/243) Accurately ripped
11 | (239/243) Accurately ripped
12 | (239/243) Accurately ripped
[AccurateRip ID: 000fb0ed-0093742d-9208e70c] found.
Track [ CRC | V2 ] Status
01 [e33d133a|66a295d4] (038+092/137) Accurately ripped
02 [9f514f66|7a4fe5c0] (037+091/135) Accurately ripped
03 [f4b413e3|85ea0619] (038+091/136) Accurately ripped
04 [4f155b57|2a851c6e] (037+090/134) Accurately ripped
05 [ab7d5fba|41df47bc] (037+091/135) Accurately ripped
06 [87749370|fdcb06d2] (036+091/134) Accurately ripped
07 [47992b1d|447118dd] (038+090/135) Accurately ripped
08 [b9b7fe1c|25790360] (037+090/134) Accurately ripped
09 [51201b44|6c3f7d8d] (037+090/134) Accurately ripped
10 [2881ec8c|2b8b5ba2] (037+090/134) Accurately ripped
11 [4f64f3fb|59ef7581] (037+089/133) Accurately ripped
12 [86c3d86a|089ca494] (037+088/131) Accurately ripped
Offsetted by -119:
01 [ba0208c4] (004/137) Accurately ripped
02 [539465a1] (004/135) Accurately ripped
03 [6b7262e5] (004/136) Accurately ripped
04 [c72af1dc] (004/134) Accurately ripped
05 [73926e08] (004/135) Accurately ripped
06 [0729c18e] (004/134) Accurately ripped
07 [19315a22] (004/135) Accurately ripped
08 [e3b55fa7] (004/134) Accurately ripped
09 [d0d994e7] (004/134) Accurately ripped
10 [3786eef9] (004/134) Accurately ripped
11 [c5dd7349] (004/133) Accurately ripped
12 [85ff823c] (004/131) Accurately ripped
Track Peak [ CRC32 ] [W/O NULL] [ LOG ]
-- 100.0 [1370C3FA] [239EDFDD] CRC32
01 69.0 [4C2C0D17] [4BA84DC3]
02 97.2 [68A00645] [68AC9D6A]
03 11.7 [545DC43B] [D1D0DB7C]
04 61.9 [1E38621B] [22711579]
05 69.7 [B79D4EC0] [6B497E2B]
06 93.2 [6E8F8C85] [DD9BABCB]
07 87.1 [F747B564] [A208AA1C]
08 91.5 [2A12723E] [0E6ED985]
09 100.0 [49B138C7] [E6739B7B]
10 100.0 [A00E620B] [76E64715]
11 100.0 [3FB011CC] [145E4E85]
12 96.8 [99C693A6] [E20A1BFC]
1971. Pictures At An Exhibition (1999, Victor, Japan, VICP-60741)

[CUETools log; Date: 27-May-26 10:36:58; Version: 2.2.6]
[CTDB TOCID: dj6m0zyTbxgodnKyNus_Rs6Ak7s-] found.
Track | CTDB Status
1 | (68/69) Accurately ripped
2 | (68/69) Accurately ripped
3 | (67/69) Accurately ripped
4 | (68/69) Accurately ripped
5 | (68/69) Accurately ripped
6 | (68/69) Accurately ripped
7 | (68/69) Accurately ripped
8 | (68/69) Accurately ripped
9 | (68/69) Accurately ripped
10 | (68/69) Accurately ripped
11 | (68/69) Accurately ripped
12 | (67/69) Accurately ripped
[AccurateRip ID: 000fb2e8-0093871d-9608ea0c] found.
Track [ CRC | V2 ] Status
01 [89503ba5|c11ec102] (07+12/19) Accurately ripped
02 [0878293b|a2cf014c] (07+12/19) Accurately ripped
03 [73a619a1|9f5dfbfc] (07+12/19) Accurately ripped
04 [9fea8d27|78fab779] (07+12/19) Accurately ripped
05 [978fce34|9e801e2d] (07+12/19) Accurately ripped
06 [cbda9080|63aabad3] (07+12/19) Accurately ripped
07 [16b015b9|574106cf] (07+12/19) Accurately ripped
08 [6466a810|71938522] (07+12/19) Accurately ripped
09 [9d32c1fa|ba94da7a] (07+12/19) Accurately ripped
10 [3660e1c6|28463a87] (07+12/19) Accurately ripped
11 [8850325e|7c05eae9] (06+12/18) Accurately ripped
12 [ad54feee|b4887fec] (07+12/19) Accurately ripped
Track Peak [ CRC32 ] [W/O NULL] [ LOG ]
-- 100.0 [CDEB0131] [239EDFDD] CRC32
01 69.0 [8FC2A658] [1FA9DC66]
02 97.2 [9BD90C89] [51BC6CBE]
03 11.7 [68035022] [369ADA23]
04 61.9 [17619753] [90A857C4]
05 69.7 [904F80F1] [ABFA2F15]
06 93.2 [CA01AC9F] [010DD3D0]
07 87.1 [6450F6BB] [2198DB02]
08 91.5 [10AA4277] [8262DEE4]
09 100.0 [AC540FC4] [D99B6738]
10 100.0 [1B57209A] [620F96B4]
11 100.0 [7319A071] [F5AFB032]
12 96.8 [7757246B] [44D7654F]
Мы четко видим причину различия геометрии CTDB TOCID — она кроется исключительно в разной длине прегапов (пауз), прописанных софтом или заводом на диске. Но то, что прегапы никак не влияют на полезное аудио, подтверждается стопроцентным совпадением хэша чистого звука [239EDFDD] в колонке [W/O NULL]. В итоге без разницы, французский перед нами диск или японский — слушатель получает абсолютно идентичный звуковой поток бит-в-бит.
2. Совпадение только CTDB TOCID (Проблема микро-сдвигов одной матрицы)
Теперь рассмотрим альбом Brain Salad Surgery из темы https://rutr.life/forum/viewtopic.php?t=2835187 и другой дискографии https://rutr.life/forum/viewtopic.php?t=260706:
Emerson, Lake & Palmer - Brain Salad Surgery (Japan SHM-CD)

[CUETools log; Date: 19-Jun-26 10:48:18; Version: 2.2.6]
[CTDB TOCID: yHe7KfmVCqyXOw8PVhib4NXLhUM-] found.
Track | CTDB Status
1 | ( 47/116) Accurately ripped, or (65/116) differs in 119 samples @00:00:36,02:43:45-02:44:33
2 | ( 47/116) Accurately ripped, or (65/116) differs in 95 samples @07:19:49-07:20:09
3 | ( 47/116) Accurately ripped, or (65/116) differs in 90 samples @00:00:37-00:00:39,02:52:07-02:52:20,02:52:38
4 | ( 47/116) Accurately ripped, or (65/116) differs in 78 samples @00:00:08,02:19:13-02:19:14
5 | ( 47/116) Accurately ripped, or (65/116) differs in 67 samples @00:00:38,29:45:56-29:45:69,29:46:15
[AccurateRip ID: 0005ee32-001de6fe-3d0a9405] found.
Track [ CRC | V2 ] Status
01 [c131ffff|692c7789] (07+10/74) Accurately ripped
02 [4862ff66|be90f7a9] (07+10/74) Accurately ripped
03 [47bc4773|51cb5590] (07+10/75) Accurately ripped
04 [acac60e8|d4a80d79] (07+10/74) Accurately ripped
05 [9622b3d7|618f807f] (07+10/75) Accurately ripped
Offsetted by 232:
01 [d3f48952] (03/74) Accurately ripped
02 [09e446fb] (03/74) Accurately ripped
03 [020851d3] (03/75) Accurately ripped
04 [e870bd08] (03/74) Accurately ripped
05 [4358be5f] (03/75) Accurately ripped
Offsetted by 6:
01 [295b2ff5] (00/74) No match (V2 was not tested)
02 [df97f7ce] (00/74) No match (V2 was not tested)
03 [9c0073db] (00/75) No match (V2 was not tested)
04 [fb75dee0] (00/74) No match (V2 was not tested)
05 [30af2275] (00/75) No match (V2 was not tested)
Offsetted by 388:
01 [d6d0beaf] (00/74) No match (V2 was not tested)
02 [3b2152aa] (00/74) No match (V2 was not tested)
03 [90f4d463] (00/75) No match (V2 was not tested)
04 [e8e78838] (00/74) No match (V2 was not tested)
05 [f59bfa6b] (00/75) No match (V2 was not tested)
Offsetted by 406:
01 [ed1d852d] (00/74) No match (V2 was not tested)
02 [052973c6] (00/74) No match (V2 was not tested)
03 [8dc1599b] (00/75) No match (V2 was not tested)
04 [d5440220] (00/74) No match (V2 was not tested)
05 [c5414645] (00/75) No match (V2 was not tested)
Offsetted by 412:
01 [5c595279] (00/74) No match (V2 was not tested)
02 [9f2380f8] (00/74) No match (V2 was not tested)
03 [e2058603] (00/75) No match (V2 was not tested)
04 [240d8018] (00/74) No match (V2 was not tested)
05 [5fcdb4e3] (00/75) No match (V2 was not tested)
Track Peak [ CRC32 ] [W/O NULL] [ LOG ]
-- 96.6 [D1685261] [AE17B1B1]
01 96.6 [B4C14E9C] [6FB612F5] CRC32
02 96.6 [60BE3897] [63BBCFBC] CRC32
03 96.6 [251B7EDC] [9D73CAA5] CRC32
04 96.6 [6A0F6F0F] [1B86CE38] CRC32
05 96.6 [F9615691] [4D212544] CRC32
Brain Salad Surgery (Jap. K2 HDCD)

[CUETools log; Date: 19-Jun-26 10:52:25; Version: 2.2.6]
[CTDB TOCID: yHe7KfmVCqyXOw8PVhib4NXLhUM-] found.
Track | CTDB Status
1 | ( 68/116) Accurately ripped, or (47/116) differs in 119 samples @00:00:36,02:43:44-02:44:32
2 | ( 68/116) Accurately ripped, or (47/116) differs in 95 samples @07:19:49-07:20:09
3 | ( 67/116) Accurately ripped, or (47/116) differs in 90 samples @00:00:36-00:00:38,02:52:06-02:52:19,02:52:37
4 | ( 68/116) Accurately ripped, or (47/116) differs in 78 samples @00:00:07,02:19:13
5 | ( 66/116) Accurately ripped, or (47/116) differs in 67 samples @00:00:37-00:00:38,29:45:55-29:45:68,29:46:14-29:46:15
[AccurateRip ID: 0005ee32-001de6fe-3d0a9405] found.
Track [ CRC | V2 ] Status
01 [6838cbe3|06963338] (09+31/74) Accurately ripped
02 [72107183|04012e42] (09+31/74) Accurately ripped
03 [ccb4b6f2|799ee633] (10+31/75) Accurately ripped
04 [0df31cee|e9748813] (10+31/74) Accurately ripped
05 [331b470f|10cd42ce] (10+31/75) Accurately ripped
Offsetted by -18:
01 [526a052f] (03/74) Accurately ripped
02 [a81a4fd7] (03/74) Accurately ripped
03 [d00c3184] (03/75) Accurately ripped
04 [214ea372] (03/74) Accurately ripped
05 [6429fb11] (03/75) Accurately ripped
Offsetted by -406:
01 [476741f3] (00/74) No match (V2 was not tested)
02 [b6dff073] (00/74) No match (V2 was not tested)
03 [89dba008] (00/75) No match (V2 was not tested)
04 [df03853a] (00/74) No match (V2 was not tested)
05 [13d8b175] (00/75) No match (V2 was not tested)
Offsetted by -400:
01 [af6671fb] (00/74) No match (V2 was not tested)
02 [4e0ee90b] (00/74) No match (V2 was not tested)
03 [de13cc82] (00/75) No match (V2 was not tested)
04 [2de5030e] (00/74) No match (V2 was not tested)
05 [ae29201f] (00/75) No match (V2 was not tested)
Offsetted by -174:
01 [53d1cdfe] (00/74) No match (V2 was not tested)
02 [77793f48] (00/74) No match (V2 was not tested)
03 [4257ad20] (00/75) No match (V2 was not tested)
04 [1e67dbea] (00/74) No match (V2 was not tested)
05 [b7febdcd] (00/75) No match (V2 was not tested)
Offsetted by 6:
01 [d74a9941] (00/74) No match (V2 was not tested)
02 [0c047ee5] (00/74) No match (V2 was not tested)
03 [20ece36c] (00/75) No match (V2 was not tested)
04 [5cd49ac2] (00/74) No match (V2 was not tested)
05 [cd6bb5b9] (00/75) No match (V2 was not tested)
Track Peak [ CRC32 ] [W/O NULL] [ LOG ]
-- 96.6 [77B5D4EC] [350E53C2]
01 96.6 [376F3CE9] [57202DB9] CRC32
02 96.6 [279799FA] [EC8FADFA] CRC32
03 96.6 [2EE8E5D2] [9AFF825C] CRC32
04 96.6 [A8A049D7] [49F8ADFB] CRC32
05 96.6 [03454CD9] [6C889F86] CRC32
Эти отчеты помогают понять, почему при абсолютно одинаковой геометрии CTDB TOCID: yHe7KfmVCqyXOw8PVhib4NXLhUM- у них все-таки немного разошлись хэши [W/O NULL]. На двух разных заводах (или технологических линиях) при штамповке копий с одной мастер-матрицы возник микро-сдвиг лазера оборудования. В результате данные внутри треков разошлись на ничтожные ~100 сэмплов (около 2 миллисекунд тишины на краях).
Эта погрешность штамповщика настолько микроскопична, что музыкально ею можно пренебречь (что подтверждают идентичные до десятых долей пиковые уровни 96.6%). Оба рипа признаны базой как Accurately ripped (подтвержденные оригиналы), просто один прочитан со смещением -18, а второй — со смещением +232 относительно базы. С точки зрения здравого смысла и правил трекера — это один и тот же музыкальный релиз и очевидный повтор матрицы.
Парадокс «Сомнительных» статусов
Отдельно необходимо затронуть тему присвоения статусов. Согласно текущей логике, если раздача имеет статус «Сомнительно» (например, из-за старого, неинформативного лога риппера или некорректных настроек привода), она часто «зависает» в разделах, и её нельзя поглотить полноценным повтором.
Внедрение анализа через CUETools полностью решает этот парадокс, причем в обе стороны:
Если «сомнительная» раздача по значениям [W/O NULL] или CTDB TOCID совпадает с официальным, верифицированным рипом, имеющим статус «Проверено» — с нее должны автоматически сниматься любые подозрения. Математическое совпадение с мировым верифицированным архивом — это абсолютное и неопровержимое доказательство подлинности аудио, которое весомее любых формальных придирок к оформлению текстового лога.
Резюме и предложение:
Призываю администрацию обновить правила и начать полноценно использовать программу CUETools и онлайн-базу данных https://db.cuetools.net/ui/ для верификации релизов.
Предлагается признавать раздачи ПОВТОРОМ, если выполняется одно из условий:
Сквозной хэш звукового потока [W/O NULL] полностью совпадает с уже существующим рипом (идентичный звук, несмотря на разницу в паузах).
Геометрия диска CTDB TOCID совпадает, и утилита подтверждает статус точной копии (Accurately ripped) одной и той же матрицы с разным смещением.
Это в разы упростит и автоматизирует модерирование (вместо чтения километров текста достаточно закинуть CUE в программу), а также эффективно очистит lossless-разделы от скрытого «мусора» и дубликатов.
[Профиль]  [ЛС] 

coltrane999

Стаж: 10 лет

Сообщений: 3

coltrane999 · 18-Июн-26 10:24 (спустя 19 дней)

https://hydrogenaudio.org/index.php/topic,65696.0.html
[Профиль]  [ЛС] 

g.y.m.

Admin

Стаж: 17 лет 9 месяцев

Сообщений: 16426

g.y.m. · 06-Июл-26 10:49 (спустя 18 дней)

KYOI
В целом CUETools и так используют, когда ТОС в логах нет. Ну а если есть различия в ТОС - правилами это допускается.
[Профиль]  [ЛС] 

FoxSD

VIP (Заслуженный)

Стаж: 18 лет 2 месяца

Сообщений: 7507

FoxSD · 07-Июл-26 11:20 (спустя 1 день)

KYOI писал(а):
89230356Это в разы упростит и автоматизирует модерирование (вместо чтения километров текста достаточно закинуть CUE в программу), а также эффективно очистит lossless-разделы от скрытого «мусора» и дубликатов.
это потребует скачивать раздачи чтобы выполнить проверку или заставит делать проверку релизеров. Вообщем и то и то утомительно и долго.
[Профиль]  [ЛС] 
 
Ответить
Loading...
Error