Los jueces automáticos del habla son algoritmos que evalúan la pronunciación y las emociones. Sin embargo, a menudo funcionan como un crítico culinario que emite un veredicto tras leer el menú, pero sin probar el plato.

Los experimentos demostraron que, con solo intercambiar dos grabaciones de audio, el juez de IA cambia la puntuación, aunque el sonido siga siendo el mismo. Se aferra al orden de presentación, no a la calidad real. Al confiar en el protocolo estándar de prueba en lugar del sonido verdadero, estos sistemas no pueden considerarse justos. Para confiar en ellos en el futuro, hay que examinar cada modelo en cuanto a su tendencia al engaño; de lo contrario, la evaluación seguirá siendo una ficción.