Les modèles qui transforment le texte en audio reproduisent bien les sons isolés, mais se mélangent les pinceaux quand le scénario en contient plusieurs. Par exemple, selon le scénario, d'abord une sonnerie, puis des pas, puis un claquement de porte. Le générateur peut inverser les événements, et l'auditeur entendra les pas avant la sonnerie.
Les chercheurs ont trouvé une solution inattendue : au lieu de programmer des règles complexes, ils ont pris un réseau de neurones qui « comprend » l'audio et en ont fait un contrôleur strict. Ce chef d'orchestre neuronal écoute l'enregistrement et vérifie que tous les événements sont présents et dans le bon ordre temporel. Si les ondes sonores sont mélangées, il attribue une note. En comparant plusieurs variantes de génération, le système apprend de ces préférences : voilà, c'est bien, et ça, c'est mal. Pour vérifier, les auteurs ont créé le test S3Bench — un ensemble de courtes histoires avec des instructions sonores. La méthode a amélioré la précision de l'ordre sans dégrader la qualité.
Ce qui est surprenant, c'est que le « juge » n'est pas un système expert complexe, mais un autre modèle entraîné. Ce duo auto-apprenant promet des pistes sonores plus réalistes dans les jeux et les assistants.
Notre oreille reconstitue sans effort la chronologie des sons du quotidien, mais pour l'IA, ce n'est toujours pas évident : confondre une sonnerie avec un claquement est monnaie courante.