Определяем поддельный lossless

Как проверить качество lossless-файлов с музыкой, полученных из сети? В данном посте я постараюсь ответить на этот вопрос. Новичкам в области аудиоформатов рекомендую предварительно ознакомиться с базовыми понятиями. Зачем вообще проверять lossless, что с ним может быть не так? Дело в том, что в интернете нередко встречаются файлы FLAC, APE, WavPack, перекодированные из MP3 или другого формата сжатия с потерями — подобный псевдоlossless называют «апконвертом». Такое творение сочетает в себе все минусы lossless-форматов (большой размер файлов, ограниченная поддержка ПО/оборудованием) с главным минусом lossy-форматов (безвозвратные потери в аудиоданных). Всю драматичность этой ситуации передал Высоцкий в своей песне: «Если FLAC оказался вдруг и не MPEG, и не FLAC, а — так…»

Откуда берется подобный фальшивый lossless? Варианта тут два:

1. Некто осознанно делает апконверт из lossy-контента, преследуя свои корыстные цели — например, желая привлечь трафик на сайт путём выкладывания редких записей в lossless, но при этом не имея их нормального исходника.
2. Некто из благих побуждений делает lossless с CD и выкладывает его в сеть без проверки. Проблема возникает, если этот CD оказывается пираткой, сделанной из lossy.

Вывод из вышесказанного очевиден — следует проверять lossless-материал на то, не является ли он подделкой. Сразу скажу, что определить апконверт со стопроцентной точностью не всегда возможно. Однако, отбраковать бо́льшую часть мусора вполне реально при помощи соответствующего программного обеспечения, о котором я и расскажу ниже. Все программы, о которых пойдет речь, являются «портативными», то есть запускаются сразу после распаковки из архива, не требуя инсталляции. К сожалению, самые популярные из них давно не обновляются, поэтому нет гарантий, что данное ПО будет корректно работать с последними версиями Windows.

auCDtect

Скачать auCDtect можно тут. Эта консольная программа работает только с WAV-файлами, поэтому проверяемый материал необходимо предварительно вручную декодировать в этот формат при помощи соответствующего кодека. Те, кого в принципе смущает интерфейс командной строки, могут сразу перейти к следующему пункту, для остальных приведу пример работы с программой. Проверим FLAC-файл, который находится в папке D:\Test. Положим в эту папку файлы flac.exe (кодек FLAC) и aucdtect.exe, которые и будем запускать. Процедура проходит в два шага: сначала командой flac -d filename.flac декодируем FLAC-файл в WAV, затем командой aucdtect filename.wav запускаем проверку полученного WAV-файла в auCDtect:

Результатом проверки является заключение утилиты «This track looks like CDDA with probability 100%» («Этот трек похож на CDDA с вероятностью 100%»), из чего можно сделать вывод, что наш FLAC-файл почти наверняка содержит полноценный lossless-контент и не является фейком. В противном случае утилита выдала бы сообщение «This track looks like MPEG…»

auCDtect Task Manager

Представляет собой работающий как единое целое комплект из auCDtect, графической оболочки к ней, редактора SoX и набора аудиокодеков. В отличие от «голой» auCDtect не требует от пользователя никаких особых навыков, анализ делается в несколько кликов без дополнительных телодвижений. К сожалению, автор прекратил разработку новых версий, оригинальный сайт недоступен. Скачать архив с программой можно только со сторонних ресурсов — например, отсюда. Судя по документации из комплекта, корректная работа программы гарантируется под версиями Windows до 8 включительно, а дальше — как повезёт. Запустив auCDtect Task Manager, мы видим привычный графический интерфейс: нужно выбрать файлы/папки, которые требуется проанализировать, после чего нажать кнопку «Старт»:

Результат по каждому треку выводится в столбце «Резюме»: «CDDA» — честный lossless, «MPEG» — апконверт. По умолчанию программа также формирует отчёты в директории с проверяемыми аудиофайлами, эту функцию можно отключить в настройках. В процессе анализа auCDtect Task Manager создает спектрограммы треков, которые впоследствии можно использовать для визуального анализа (подробнее об этом я расскажу ниже).

Audiochecker

Скачать Audiochecker и языковые пакеты к нему можно здесь. Увы, поддержка программы автором тоже давно отсутствует. В плане использования Audiochecker похож на auCDtect Task Manager — всё делается через графический интерфейс, результаты анализа выводятся в аналогичном формате:

Lossless Audio Checker

Название данной программы похоже на название предыдущей, но не нужно их путать — это совершенно разные продукты. Lossless Audio Checker доступен для скачивания на оригинальном сайте, имеются графическая и консольная версии. Интерфейс программы минималистичен, какие-либо настройки отсутствуют. По результатам проверки полноценный lossless отмечается как «Clean», фейковый — «Upsampled»:

Надо отметить, что надёжность распознавания апконверта у Lossless Audio Checker’а оставляет желать лучшего, пользоваться этой программой если и стоит, то только в качестве дополнения к другому ПО.

Визуальный анализ спектрограмм

Давайте посмотрим, как изменяется спектр сигнала при перекодировании музыки из одного формата в другой. Для этого сделаем следующее:

1. Возьмём CDDA с электронной музыкой, выберем на нём трек с максимально широким спектром, сохраним этот трек в WAV.
2. Создадим ещё три копии полученного на предыдущем этапе WAV-файла, каждую из которых сожмём в MP3 при помощи кодера LAME с различными настройками. Тем же LAME’ом декодируем все MP3 обратно в WAV. Одну из копий после декодирования обработаем энхансером в аудиоредакторе.
3. Полученные WAV-файлы сожмём во FLAC (технической необходимости в этом нет, можно анализировать и сразу WAV, но для наглядности пусть всё будет выглядеть так, как будто бы мы скачали музыку в формате FLAC из сети). Конечным результатом всех описанных манипуляций будут четыре варианта тестового трека, один из которых — полноценный lossless, а три другие — псевдоlossless, сделанный из MP3 разной степени урезанности.
4. При помощи auCDtect Task Manager получим спектрограммы наших тестовых файлов, которые и рассмотрим. Рекомендую читателю сохранить нижеприведённые картинки в папку и посравнивать их самостоятельно в любой программе просмотра изображений, быстро переключаясь между ними — так различия будут видны максимально отчётливо.

Итак, вот спектрограмма исходного CDDA-трека:

А это наш трек после конвертации в MP3 при помощи LAME с пресетом extreme (один из наиболее качественных вариантов MP3-сжатия):

Отличия от исходного образца минимальны, но они есть. В целом спектр всё так же простирается до самой верхней границы (ФНЧ у LAME в этом режиме отключен), однако, на некоторых участках слабые высокочастотные составляющие всё равно подавлены, что видно по обрезке голубовато-фиолетовых составляющих спектрограммы.

А вот так выглядит спектрограмма трека, сжатого в MP3 LAME’ом с настройками по умолчанию (постоянный битрейт 128 kbps, используется фильтр нижних частот):

Тут мы видим работу ФНЧ во всей красе, частотные компоненты выше

17 кГц почти полностью обрезаны.

Теперь посмотрим на спектрограмму этого же варианта трека, дополнительно обработанного энхансером (энхансер — ПО, добавляющее в высокочастотную область сигнала гармоники, субъективно делающие звук более ярким, насыщенным. Лет 15-20 назад многие пиратские CD, изготовленные из MP3, обрабатывались подобным образом). Видим, что энхансер добавил в верхнюю часть спектрограммы немного голубого цвета, что предсказуемо. Впрочем, всё это как мёртвому припарки, отрезанные на этапе MP3-сжатия высокие частоты уже не восстановишь:

Какие выводы можно сделать из увиденного?

1. Современные lossy-кодеры в высококачественных режимах выдают материал, отличить который от оригинала по спектрограмме весьма сложно или вовсе невозможно. Однако, при переключении этих кодеров в режим «эконом», отличия от оригинала становятся очевидными.
2. При анализе спектрограммы с целью вычисления апконверта смотреть нужно в первую очередь на наличие явного среза ВЧ. Если таковой присутствует на частотах ниже

20 кГц — перед вами с высокой вероятностью псевдоlossless. Однако, подобные срезы иногда встречаются и на нормальных CDDA-записях.

Высокочастотные составляющие, вырезаемые при сжатии с потерями, обычно имеют очень низкий уровень. Удаление этих компонентов приводит к уменьшению гладкости линий в верхней части спектрограммы — эти линии становятся более прерывистыми, контрастными, фиолетово-синие цвета в них замещаются чёрным. Следовательно, выраженная дискретность картинки в ВЧ-области также может быть признаком того, что перед вами апконверт.

Заключение

Как я уже говорил во вступлении, не стоит считать описанный в статье инструментарий панацеей, однако, в большинстве случаев он достаточно эффективно справляется с обнаружением поддельного lossless-контента. Проще всего, когда результаты анализа говорят о том, что перед нами откровенная фальшивка — таковую просто удаляем, и дело с концом. Сложнее принять решение в неоднозначных ситуациях — например, когда отдельные треки в альбоме определяются как апконверт с достаточно высокой вероятностью, а другие — как полноценный lossless. В таких случаях имеет смысл поискать нужные записи в альтернативных источниках и сравнить разные релизы друг с другом. Часто это помогает определиться, является ли сомнительный результат в тестах следствием особенностей фонограммы или же результатом чьей-то вредительской деятельности.

auCDtect Task Manager 1.6.0 RC1 (декодеры от 01.09.2017)

Программа представляет собой удобную графическую оболочку для консольной утилиты aucdtect.exe, которая позволяет с высокой вероятностью определять, было ли lossless аудио получено из lossy источника (путем апконверта или с некачественного диска Audio CD, записанного их MP3 файлов). Программа является более удобной альтернативов оболочке Audiochecker. Принцип работы auCDtect Task Manager схож с программой Tau Analyzer, также построенной на базе утилиты auCDtect.

Программа включает в себя декодеры всех основных lossless форматов: FLAC, Monkey’s Audio (APE), WavPack (WV), TAK, Apple Lossless (ALAC), TTA, OptimFROG (OFR), LA, Shorten (SHN), LPAC.

После добавления необходимых файлов в список анализа и нажатия кнопки «Старт» программа выполняет декодирование файлов в несжатый формат PCM WAV и передает полученные временные файлы консольной программе auCDtect. Процесс декодирования и анализа может выполняться параллельно и в несколько потоков, что значительно повышает скорость анализа на многопоточных и многопроцессорных системах.

Также auCDtect Task Manager включает в себя консольный обработчик Sound eXchange (SoX), который в дополнение к результатам auCDtect генерирует спектрограмму анализируемого файла.

По окончанию анализа программа сохраняет результаты анализ в файлы (доступно сохранение логов для каждого файла отдельно, для всей папки, сохранение спектрограммы каждого файла). Полученные таким образом логи содержат символьную сигнатуру, которая в дальнейшем позволяет проверить лог на достоверность (не вносились ли в него изменения после генерации).

Список основных возможностей и преимуществ программы:

— оптимизация под многозадачность;
— оптимизация под многопроцессорные/многоядерные платформы;
— каждая задача выполняется в отдельной виртуальной «песочнице», что позволяет расширенное управление задачами, контроль ошибок, приоритета выполнения и проч.;
— поддержка более 20 беспотерьных/гибридных форматов аудио, которая при необходимости может быть легко расширена;
— полная поддержка Юникода;
— полностью русский интерфейс, легкая локализация;
— программа полностью портативна и, кроме того, может запускать с Read-Only носителей (например, CD);
— поддержка подключения внешних анализаторов для экспорта треков (например, Sonic Visualizer, Wavosaur);
— настраиваемая генерация спектрограмм.

Программа в архиве содержит обновленные версии основных декодеров, а также декодеры ALAC и LA.

Проверка качества Audio CD — Tau Analyzer, AuCDtect (Win, Linux)

Многие любители музыки задавались вопросом о качестве полученных ими записей. И их беспокойство не безосновательно, вместо полноценного Audio CD зачастую можно получить расжатку с mp3. Такая расжатка звучит по-другому, т.к. при сжатии аудиосигналы передаются не точно, уменьшается частота среза. В Audio CD, к примеру, максимальная частота сигнала около 22 кГц, у mp3 с постоянным битрейтом 160 кбит/с всего около 16 кГц.

Плохие Audio CD могут делать аудиопираты, т.к. достать исходный образ диска для тиражирования сложнее, чем найти чей-то рип. Так же могут поступать недалёкие распространители сжатых без потерь треков (ape, flac), если вместо того, чтобы в качестве источника взять оригинальный диск, они взяли пиратский диск или глупо переконвертировали в flac свои mp3-файлы.

Но не все задавались вопросом как можно отличить такие записи. На слух они отличаются от оригинала, но определить кто из них оригинал, а кто расжатка бывает затруднительно. Аудиофилы же стремятся получить у себя звук максимально близкий к оригиналу. В помощь таким людям создана программа Tau Analyzer.

Tau Analyzer — программа для определения подлинности треков на CD. На основе наличия в записях «артефактов» сжатия с потерями программа делает предположение о том, что является источником — исходная студийная запись или разжатка с mp3.

Интерфейс программы очень прост. Достаточно вставить диск и нажать слева кнопку «Analyze CD». Через несколько минут мы получим решение о каждом треке и о диске в целом. В качестве приятного и полезного дополнения можно посмотреть спектрограмму и АЧХ каждого трека.

Обзор

Для иллюстрации работы программы возьмём два диска: лицензионный диск Сплина издательства Sony Music и не менее лицензионный диск группы ГДР издательства Real Records. На скриншотах ниже представлены АЧХ песен «Новые люди» и «Джонатан» с первого и второго дисков соответственно.

Сплин — «Новые люди»

ГДР — «Джонатан»

Tau Analyzer признал первый диск оригинальным (CDDA), а второй — расжаткой (MPEG). Звук со второго диска кажется недетализированным и «замятым».

AuCDtect и тестирование

AuCDtect — консольная программа предназначенная для сходных целей и реализующая тот же алгоритм. Проста в использовании, есть версии для windows и linux. Для анализа эта программа берет wav-файлы.

Для того, чтобы проверить работу программы, мной был снят с диска и сохранен в виде wav-файла трек «Новые люди». Затем он был поочередно сжат с помощью:

mp3-кодека lame 3.98b8 с пресетами cbr 128, cbr192, extreme, insane;ogg-кодека oggenc с качеством 7aac-кодека neroaacenc с качеством 0.6
После этого полученные файлы были вновь расжаты в wav и скормлены AuCDtect. В режиме обычной точности AuCDtect ошибся только на разжатом aac-файле — принял его за CDDA. В режиме максимальной точности AuCDtect не допустил не единой ошибки!

Таким образом, Tau Analyzer и AuCDtect показывают себя полезными и надежными программами для любителей музыки.

Используемые термины

Расжатка — создание образа Audio CD из рипа.
Рип — сохранение треков с Audio CD в файлы на жесткий диск, обычно происходит с необратимой потерей некоторой информации, т.е. снижением качества.