Автоматические судьи речи — это алгоритмы, обученные оценивать произношение и эмоциональную окраску голоса. Однако, как показали исследования, они часто ведут себя подобно кулинарному критику, который выносит вердикт, прочитав меню, но не попробовав само блюдо.

Экспериментально обнаружено: если просто поменять местами две аудиозаписи, ИИ-судья меняет свою оценку, хотя звуковой сигнал остаётся неизменным. Это указывает на то, что алгоритм опирается на порядок подачи стимулов, а не на реальное качество звучания. Полагаясь на стандартный протокол тестирования, а не на истинные акустические свойства, такие системы нельзя считать объективными. Чтобы в будущем можно было доверять автоматическим оценкам, необходимо проверять каждую модель на склонность к обману — иначе оценка останется фикцией, лишь имитирующей понимание речи.