Автоматические судьи речи — это алгоритмы, оценивающие произношение и эмоции. Однако они часто работают как кулинарный критик, который выносит вердикт, прочитав меню, но не попробовав блюдо.
Эксперименты показали: если просто поменять местами две аудиозаписи, ИИ-судья меняет оценку, хотя звук остаётся тем же. Он цепляется за порядок подачи, а не за реальное качество. Полагаясь на стандартный протокол тестирования, а не на истинное звучание, такие системы нельзя считать справедливыми. Чтобы доверять им в будущем, нужно проверять каждую модель на склонность к обману — иначе оценка останется фикцией.
как её написали авторы, на английском arXiv:2607.13477
Large audio-language models (LALMs) are increasingly used as automatic judges for speech evaluation. However, high agreement with human ratings does not guarantee that their verdicts are grounded in the audio. A judge may instead rely on specialist labels or reference data supplied by the evaluation protocol itself, taking a shortcut in place of listening to the audio. In this paper, we audit such protocol-level ``shortcuts'' in LALM judges across three common deployment protocols: feature-blueprint judging, where the audio is replaced by a structured text description of acoustic features, reference-conditioned judging, and pairwise A/B comparison. Across six judges and four attributes, we find that several LALMs rely on protocol-level shortcuts. For example, in feature-blueprint judging, incorrect specialist labels reduce five judges' emotion accuracy to 0.10 or below, and in concatenated A/B comparisons, Qwen3-Omni-Thinking often picks the same slot regardless of order swaps. These results indicate that aggregate agreement can overstate the validity of LALM judges unless the model and the evaluation protocol are assessed jointly, and that each model-protocol pair should be evaluated with a matched shortcut probe.
Нейросеть может ставить разные оценки одной и той же записи, если просто поменять местами образцы.