Есть ли недостатки у двойного слепого тестирования аудио-компонентов? Почему быстрые перетыкания — это путь в никуда.

Вайбкодеры теперь сами себе все пишут

Скачать утилиту для проведения A/B тестов

Огромный объём подробной информации в паттерне нейронного возбуждения создаёт проблему для слепых прослушиваний. Традиционные быстрые тесты A–B основаны на предположении, что при длительном промежутке между A и B испытуемый может забыть первый звук. Это ошибка, поскольку при таком подходе испытуемый опирается на кратковременную память, которая сохраняет информацию до 15–30 секунд и способна удерживать лишь около четырёх элементов. Такой метод может хорошо работать, когда в простом звуке меняется один параметр, например при определении едва заметного различия частоты чистого тона — JND.

Однако изменения тембра из-за искажений в аудиотракте связаны с множеством тонких изменений паттерна нейронного возбуждения. Они выходят за пределы возможностей кратковременной памяти. Чтобы усвоить эту подробную информацию, необходимо долго слушать сложную музыку, делая между A и B паузу длительностью не менее минуты — своего рода «очищение восприятия». Это сбрасывает кратковременную память и задействует устойчивую, несравнимо более подробную долговременную память. Такой подход, основанный на длительных многократных прослушиваниях — extended-multiple-pass, EMP, — привёл к историческому доказательству того, что кабельные соединения между аудиокомпонентами дают слышимые различия [3].

Британские ученые про ваши слепые тесты Слух и аудио: частота, фаза, время и разрешающая способность слуха - #2 от пользователя dmitre

2 лайка

Вот и тут, тот же момент, что и в реальности созданной мозгом, хотельось бы отметить.

“…делая между A и B паузу длительностью не менее минуты — своего рода «очищение восприятия»” - что мешает делать при слепых тестах?

никто просто вслепую не слушает альбомами, ни разу не видел такого.

Чтобы усвоить эту подробную информацию, необходимо долго слушать сложную музыку

а перетыки для забивания канала вообще неинтересны.

1 лайк

Вот
Time for slow listening.pdf (152.2 KB)

On_Human_Perceptual_Bandwidth_and_Slow_Listening_-_2018.pdf (2.7 MB)

1 лайк


Роль критического прослушивания в оценке качества аудиоаппаратуры

Роберт Харли утверждает, что субъективное критическое прослушивание способно выявить такие аспекты качества аудиоаппаратуры, которые не обнаруживаются традиционными объективными методами. Субъективные впечатления от прослушивания нередко отвергаются как мистицизм, даже тогда, когда их публикуют добросовестные специалисты с технической подготовкой.
Харли отмечает разделение аудио мира на так называемых «субъективистов» и «объективистов», получившее название «Великий спор» (The Great Debate). Субъективисты полагаются на собственный опыт, доверяя слуху как более чувствительному и содержательному индикатору качества звука, а объективисты уверены, что измерениями можно количественно описать каждый аспект звучания аудиосистемы.
Объективисты утверждают, что у грамотно спроектированных и изготовленных аудио компонентов, у которых технические характеристики одинаковы, не существует слышимых различий. Данное утверждение представляется абсурдным подавляющему большинству субъективистов, которые привыкли оценивать звучание компонентов, полагаясь на критическое прослушивание. Так проходит линия разделения между двумя лагерями.
Работа Роберта Харли заключается в подробном прослушивании компонентов и измерении их технических параметров в лаборатории журнала. Его опыт убедительно показывает, что многие аспекты качества аппаратуры обнаруживаются именно в комнате прослушивания, а не в технической лаборатории.
Ирония заключается в том, что для одних специалистов эта простая мысль является очевидной истиной, не заслуживающей обсуждения, тогда как другие объявляют её ересью и угрозой для развития аудио индустрии.
Роберт Харли метко замечает в этой статье, что субъективное критическое прослушивание является неотъемлемой частью практически каждого этапа воспроизведения звука: начиная от звукорежиссёра, выбирающего микрофоны на основании личной оценки их качества, до потребителя, выбирающего акустическую систему в салоне.
Весь этот путь основан на субъективном опыте, который оказывает огромное влияние на всю область звукозаписи и воспроизведения звука. В процессе записи режиссёры принимают бесчисленное количество оценочных решений относительно того, как должна быть записана музыка. И никто не сомневается в полезности данного метода.
Однако, как только субъективные оценки звучания аудио компонентов публикуются в аудио журналах, они становятся предметом жёсткой критики со стороны объективистов и описываются ими как недостоверные, капризные и основанные на фантазиях. Харли подчёркивает, что значительная часть обзоров основана на данных, полученных в тщательно контролируемых условиях, а «не высосана из пальца».

Автор статьи – редактор известного аудио журнала – предпочитает «метод одиночного прослушивания», при котором испытуемый компонент заменяет компонент в хорошо настроенной, известной эталонной системе, после чего обозреватель в течение недель или месяцев слушает через него музыку.
Используется также метод выравнивания уровня и контроля относительных ошибок АЧХ, а иногда применяется A/B-сравнение с другими известными, сопоставимыми по цене компонентами. Но отмечается, что именно метод одиночного прослушивания является наилучшим для определения долгосрочного качества тестируемого компонента.
Представители противоположного лагеря, лозунг которого «если явление нельзя измерить, то его и нет вовсе», в оценке звука опираются исключительно на технические параметры, которые, кстати, можно измерять по-разному, то есть с определённой долей субъективных предпочтений инженера. И если дело доходит до аудирования, то объективисты признают только двойное слепое тестирование (ABX).
Харли прямо задаёт вопрос: кто лучше квалифицирован для оценки слышимых различий между компонентами и музыкальной значимости этих различий — учёный, работающий в лаборатории и отказывающийся критически слушать систему, или профессиональный обозреватель, который зарабатывает на жизнь ежедневным прослушиванием компонентов в строго контролируемых условиях?
Объективисты утверждают, что, кроме чисел, полученных в результате объективных измерений, нет ничего, что может характеризовать качество продукта. Они забывают, что «то, что мы слышим, не всегда коррелирует с тем, что мы измеряем» (Р. Хейзер).

Роберт Харли в своем докладе отмечает, что качество аудиосистемы — прежде всего обусловливается её способностью передавать сущность и смысл музыки, не навязывая себя музыкальному переживанию. Некоторые компоненты создают такую близость с музыкой, что слушатель забывает о системе воспроизведения. Другие, кажется, делают всё возможное, чтобы помешать такому переживанию.
Более конкретно, существует огромное количество слышимых различий между компонентами, причины которых мы ещё даже не начали понимать, не говоря уже о том, чтобы измерять и количественно описывать их.
Вот перечень этих различий:

  • глубина звуковой сцены;
  • чёткость контуров образов инструментов;
  • ощущение пространства между отдельными инструментами;
  • сохранение ширины звуковой сцены по направлению к задней части;
  • естественность воспроизведения тембровых оттенков.

Все эти аспекты невозможно измерить, они намного превосходят возможности существующей технологии измерений. Разрешение современных измерительных приборов ниже разрешения человеческой слуховой системы. Комната прослушивания является наиболее достоверным способом оценки качества аудио компонентов.
Автор доклада акцентирует внимание на необходимости развития навыков прослушивания фонограмм, умении настроить мозг не на получение удовольствия от фрагмента, а на переключение его в режим аналитического контроля и способности концентрироваться на определённых аспектах воспроизведения музыки.


Именно эти навыки и знания высмеиваются объективистами, так как они не вписываются в границы чувствительности тестовой аппаратуры. Отрицание формы знания субъективной оценки, соединённое с верой в непогрешимость научного метода и его неограниченную способность раскрыть единственную истину природы, является фундаментом «Великого спора».
Одной из основ противостояния между теми, кто исследует аудио явления посредством прослушивания, и теми, кто полагается исключительно на измерения, является различие языков двух школ.
Для объективистов, считающих, что каждый аспект звучания аудио компонента может быть измерен, количественно выражен и однозначно передан посредством математических символов, язык критических слушателей кажется не более чем расплывчатой поэзией.
Для людей, связывающих качество аппаратуры прежде всего с техническими терминами и характеристиками, а не с опытом прослушивания, словарь критического слушателя кажется бессодержательным и бесполезным жаргоном, предназначенным скорее для запутывания, чем для объяснения.
И наоборот, музыкант, не обладающий техническими знаниями об аудио технологиях, сочтёт технические термины и спецификации бессмысленными, поскольку они никак не связаны с его реальностью.
Аудио обозреватель, профессиональная задача которого состоит в обнаружении различий между аудио компонентами и который ежедневно тренирует этот навык, развивает чувствительность, кажущуюся неправдоподобной человеку, не обладающему такой подготовкой. Поэтому описанные слышимые различия кажутся преувеличенными тем, кто не развил подобную способность или не знает о возможности её существования.
Далее Роберт Харли переходит к следующему пункту спора между объективистами и субъективистами. Одно из возражений объективистов против high-end-аудио связано именно с часто высокой стоимостью отдельных компонентов.
Они считают, что публика систематически эксплуатируется high-end-журналистской «элитой», которая безответственно рекомендует компоненты, основываясь на качестве звучания, якобы ничем не отличающемся от любого дешёвого грамотно спроектированного продукта.
Если бы это было так, отмечает докладчик, почему high-end-компании тратят огромные суммы на сложное компьютерное программное обеспечение и оборудование для проектирования электроники? Почему строят специализированные комнаты для прослушивания? Почему используют дорогие сопутствующие компоненты для прослушивания собственных изделий? Почему продолжают обучать своих разработчиков? Почему устанавливают дорогие резисторы и конденсаторы, иногда заключённые в залитые компаундом модули, которые никогда не увидит покупатель?

Харли продолжает и задаёт вопросы объективистам: многие разработчики high-end-компонентов имеют инженерные степени и серьёзную научную подготовку.
Можно ли поверить, что вся их профессиональная деятельность и жизненная работа — разработка аппаратуры, которая лучше звучит, — основаны на заблуждении и фантазии? Что при каждой новой оценке схемы в комнате прослушивания разработчики и все остальные сотрудники компании постоянно слышат различия, которых на самом деле не существует? Что общепризнанное превосходство определённых типов конденсаторов, пассивных компонентов, проводов и схемотехнических решений является плодом коллективного воображения, поддерживаемого внушением и нечестными журналистами? Что каждый потребитель, выбирающий компонент по качеству звучания, также является жертвой заблуждения?
Харли отвечает, что гораздо разумнее считать существование слышимых различий, например, между полистирольными и электролитическими конденсаторами или между серебряным и медным проводом, чем принимать теории массового мошенничества или массового заблуждения в high-end-аудио.
В следующем разделе своего доклада Роберт Харли переходит к критике существующей методологии двойных слепых тестов (АВХ), которая признаётся объективистами как единственно верная для оценки звучания аудиосистем.

Для объективистов вопрос о слышимости явления начинается и заканчивается слепым тестированием. Данный метод является краеугольным камнем объективистской философии. Их вера в непогрешимость ABX-тестов настолько велика, что они отказываются самостоятельно участвовать в субъективном критическом прослушивании. Объективисты рассматривают слепое тестирование как великий инструмент разоблачения мошенничества и заблуждений критических слушателей — их ахиллесову пяту.
Роберт Харли утверждает обратное: вся методология слепого тестирования является ахиллесовой пятой объективистов, поскольку это единственное основание их позиции. Любая фундаментальная слабость методологии слепого тестирования серьёзно подрывает всю их философскую основу.
Прежде чем рассматривать недостатки слепого тестирования, полезно описать, как такие тесты обычно проводятся. Слепые прослушивания часто организуются следующим образом:
A) Задача экспериментатора нередко заключается скорее в доказательстве отсутствия слышимых различий, чем в выяснении, существуют ли они.
B) Между испытуемым и экспериментатором существует противостояние, причём испытуемый понимает, что в случае «неудачи» его будут высмеивать.
C) Система воспроизведения, музыка, помещение и другие условия совершенно незнакомы испытуемому.
D) Экспериментатор контролирует все аспекты теста: используемую музыку, уровень громкости, длительность прослушивания каждой презентации, количество повторений, скорость переключения и музыкальный фрагмент, в котором происходит переключение.
E) Экспериментатор контролирует количество последовательных испытаний без учёта утомления испытуемого, увеличивая число попыток, если появляется тенденция к надёжной идентификации.
F) Количество последовательных испытаний очень велико, чтобы получить больший статистический объём выборки.
Тесты, проводимые таким образом, часто показывали, что испытуемые не способны идентифицировать различия, которые ранее слышали в других условиях.
Харли задаётся вопросом: означает ли неспособность определить различия в условиях слепого тестирования тот факт, что самого явления не существует? А может, сами процедуры тестирования вводят скрытые переменные, делающие результаты теста недостоверными?


Харли утверждает, что методы, используемые при слепом тестировании, и выводы, сделанные на их основании, отражают фундаментальное непонимание объективистами человеческого музыкального восприятия.
Процесс слепого тестирования, продолжает докладчик, является грубым искажением реальности, поскольку условия слепого теста прямо противоположны условиям обычного прослушивания музыки. Чувствительность человека к тонким различиям снижается из-за стресса и искусственных условий, присущих слепому тестированию. Взаимодействие между испытуемым и тестом вводит неизвестные и количественно неопределённые переменные.
Так вот, в формате двойного слепого тестирования проводилось сравнение звучания различных усилителей: дорогого транзисторного, дорогого лампового без выходного трансформатора и японского ресивера стоимостью всего 220 долларов. С объективной точки зрения технические параметры испытуемых компонентов были очень разными. С точки зрения субъективного прослушивания все эти модели играли по-разному.
Но самое интересное было впереди: при ABX-тестировании слушатели так и не смогли определить различия. Если кто-то и угадывал различия, это списывалось объективистами на удачное угадывание.
Объективисты утверждали: все усилители играют одинаково, ABX-тест это показал! Но Харли задает вопрос: как могли абсолютно разные по объективным техническим параметрам усилители звучать одинаково? Может, все-таки методология теста некорректна и не способна выявить различия?
Ведь объективисты, с одной стороны, утверждают, что ABX-тест является самым достоверным и самым чувствительным методом оценки, а с другой — абсолютно технически разные компоненты зазвучали одинаково.
Тут что-то не сходится, заключает Харли: сама процедура слепого тестирования противоречит причине, по которой мы слушаем музыку!
Музыка — не просто произвольный набор звуков разной высоты и амплитуды. Она наполнена смыслом, выразительностью и чувствами. Если бы музыка была лишь непонятной и бессмысленной совокупностью звуков, не существовало бы рациональной причины её слушать. Именно музыкальная выразительность является движущей силой всей аудио индустрии.
Качество аудиоаппаратуры, говорит Харли, определяется не только самим компонентом, но и музыкальной чувствительностью слушателя к этому качеству. Чувствительность к музыкальным различиям между компонентами является результатом того, что слушателю небезразлична музыка.
Именно поэтому условия слепого тестирования могут скрывать различия между компонентами: смысл музыки в них не имеет значения. Подобно тому как музыка не является просто набором высот и амплитуд, взаимодействие слушателя и музыки нельзя свести к простым отношениям между «субъектами» и «стимулами». Некоторые различия, о которых сообщают критические слушатели, существуют непосредственно во взаимоотношении музыки и слушателя.

Во время слепого тестирования испытуемый естественным образом пытается сосредоточиться на каком-либо конкретном аспекте воспроизведения, чтобы определить конкретный компонент. Эта естественная тенденция «стараться изо всех сил» является фатальной ошибкой, поскольку она прямо противоположна нормальному способу слушания музыки. Концентрируясь на отдельной детали, человек теряет целостное переживание, которое и является истинным показателем качества аудиоаппаратуры.
Субъективное критическое прослушивание, которое длится долгое время, а не перещёлкивание кнопок A и В, позволяет с достаточной степенью достоверности определить качество звучания аудиосистемы. Личная вовлечённость человека в субъективное критическое прослушивание вносит гораздо меньше помех, чем неестественные условия слепого тестирования.
Харли завершает: ответственный субъективный подход, сочетающий тщательный контроль условий прослушивания с техническим пониманием процесса и устройства компонента, гораздо более объективен, чем это представляют его критики.
Тот факт, что между аудиокомпонентами существуют музыкально значимые различия — различия, которые невозможно измерить существующей технологией, — является очевидной истиной для сотен тысяч критически слушающих людей, как профессионалов, так и обычных потребителей.
Р. Харли. Журнал Stereophile (краткий пересказ статьи).
Источник: чат Daxx Cabeles

6 лайков

Фуф… еле осилил. А суть-то простая. Если разницу слышно, когда знаешь, что играет, а когда не знаешь, она куда-то пропадает, то вопрос не к слепому тесту. И никто не заставляет быстро перетыкать. Можно слушать хоть неделю, на своей системе, свою музыку, просто не знать, что именно подключено. А дальше получается очень удобно: услышал разницу - значит она есть. Не услышал вслепую - значит тест плохой. При таком подходе разница существует всегда, при любом результате. Это уже не проверка слуха, а вера, которую в принципе невозможно опровергнуть. И где тут объективность?

2 лайка

Упрощение и формализм, очень пагубно влияют на культуру цивилизации!:wink:

А подмена проверки красивыми словами, видимо, на культуру цивилизации влияет исключительно благотворно :wink:

3 лайка

Про верку, ничего не скажу… не знаком))

1 лайк

А зря, симпатичная такая :slightly_smiling_face:

1 лайк

В смысле Vera? Объективистская, процессорная, некомпактная, дорогая, бассс еще отдельно покупать:

Ну вот это аргумент.
А если ещё подобрать грамотно…

Чувак озвучил то, что я еще лет 20 назад понял…

золотые слова

Автор статьи это озвучил в 1991 году, 35 лет назад…

4 лайка

Значит он прав)

2 лайка