Los jueces automáticos del habla son algoritmos que evalúan la pronunciación y las emociones. Sin embargo, a menudo funcionan como un crítico culinario que emite un veredicto tras leer el menú, pero sin probar el plato.
Los experimentos demostraron que, con solo intercambiar dos grabaciones de audio, el juez de IA cambia la puntuación, aunque el sonido siga siendo el mismo. Se aferra al orden de presentación, no a la calidad real. Al confiar en el protocolo estándar de prueba en lugar del sonido verdadero, estos sistemas no pueden considerarse justos. Para confiar en ellos en el futuro, hay que examinar cada modelo en cuanto a su tendencia al engaño; de lo contrario, la evaluación seguirá siendo una ficción.
tal como lo escribieron los autores, en inglés arXiv:2607.13477
Large audio-language models (LALMs) are increasingly used as automatic judges for speech evaluation. However, high agreement with human ratings does not guarantee that their verdicts are grounded in the audio. A judge may instead rely on specialist labels or reference data supplied by the evaluation protocol itself, taking a shortcut in place of listening to the audio. In this paper, we audit such protocol-level ``shortcuts'' in LALM judges across three common deployment protocols: feature-blueprint judging, where the audio is replaced by a structured text description of acoustic features, reference-conditioned judging, and pairwise A/B comparison. Across six judges and four attributes, we find that several LALMs rely on protocol-level shortcuts. For example, in feature-blueprint judging, incorrect specialist labels reduce five judges' emotion accuracy to 0.10 or below, and in concatenated A/B comparisons, Qwen3-Omni-Thinking often picks the same slot regardless of order swaps. These results indicate that aggregate agreement can overstate the validity of LALM judges unless the model and the evaluation protocol are assessed jointly, and that each model-protocol pair should be evaluated with a matched shortcut probe.
Una red neuronal puede dar diferentes puntuaciones a la misma grabación si se intercambian las muestras.