Les modèles qui transforment le texte en audio reproduisent bien les sons isolés, mais se mélangent les pinceaux quand le scénario en comporte plusieurs. Par exemple, selon le scénario, on a d'abord une sonnerie, puis des pas, puis un claquement de porte. Le générateur peut intervertir les événements, et le spectateur entendra les pas avant la sonnerie.
Les chercheurs ont trouvé une solution inattendue : au lieu de programmer des règles complexes, ils ont pris un réseau de neurones qui « comprend » l'audio et en ont fait un contrôleur strict. Ce chef d'orchestre neuronal écoute l'enregistrement et vérifie que tous les événements sont là et dans le bon ordre temporel. Si les ondes sonores sont mélangées, il attribue une note. En comparant plusieurs versions générées, le système apprend de ces préférences : voilà, c'est bien, et ça, c'est mal. Pour vérifier, les auteurs ont créé le test S3Bench — un ensemble de courtes histoires avec des instructions sonores. La méthode a amélioré la précision de l'ordre sans dégrader la qualité.
Ce qui est surprenant, c'est que le « juge » n'est pas un système expert complexe, mais un autre modèle entraîné. Ce tandem auto-apprenant promet des pistes sonores plus réalistes dans les jeux et les assistants.
Notre oreille reconstitue sans effort la chronologie des sons du quotidien, alors que pour l'IA, ce n'est toujours pas évident : confondre une sonnerie avec un claquement est monnaie courante.