Les juges automatiques de la parole sont des algorithmes qui évaluent la prononciation et les émotions. Cependant, ils fonctionnent souvent comme un critique culinaire qui rend son verdict après avoir lu le menu, sans avoir goûté le plat.
Les expériences ont montré que si l'on intervertit simplement deux enregistrements audio, le juge IA change son évaluation, alors que le son reste le même. Il s'accroche à l'ordre de présentation, et non à la qualité réelle. En se fiant au modèle standard de test plutôt qu'à la véritable sonorité, de tels systèmes ne peuvent pas être considérés comme équitables. Pour pouvoir leur faire confiance à l'avenir, il faut vérifier chaque modèle pour sa propension à tricher — sinon l'évaluation restera une fiction.
tel que rédigé par les auteurs, en anglais arXiv:2607.13477
Large audio-language models (LALMs) are increasingly used as automatic judges for speech evaluation. However, high agreement with human ratings does not guarantee that their verdicts are grounded in the audio. A judge may instead rely on specialist labels or reference data supplied by the evaluation protocol itself, taking a shortcut in place of listening to the audio. In this paper, we audit such protocol-level ``shortcuts'' in LALM judges across three common deployment protocols: feature-blueprint judging, where the audio is replaced by a structured text description of acoustic features, reference-conditioned judging, and pairwise A/B comparison. Across six judges and four attributes, we find that several LALMs rely on protocol-level shortcuts. For example, in feature-blueprint judging, incorrect specialist labels reduce five judges' emotion accuracy to 0.10 or below, and in concatenated A/B comparisons, Qwen3-Omni-Thinking often picks the same slot regardless of order swaps. These results indicate that aggregate agreement can overstate the validity of LALM judges unless the model and the evaluation protocol are assessed jointly, and that each model-protocol pair should be evaluated with a matched shortcut probe.
Un réseau de neurones peut attribuer des notes différentes au même enregistrement si l'on intervertit simplement les échantillons.