Les juges automatiques de la parole sont des algorithmes qui évaluent la prononciation et les émotions. Cependant, ils fonctionnent souvent comme un critique culinaire qui rend son verdict après avoir lu le menu, sans goûter le plat.

Les expériences ont montré que si l'on échange simplement deux enregistrements audio, le juge IA change son évaluation, alors que le son reste le même. Il s'accroche à l'ordre de présentation, et non à la qualité réelle. En se fiant au modèle standard de test plutôt qu'à la véritable sonorité, de tels systèmes ne peuvent pas être considérés comme équitables. Pour pouvoir leur faire confiance à l'avenir, il faut vérifier chaque modèle pour sa propension à la tricherie — sinon l'évaluation restera une fiction.