Los modelos que convierten texto en audio recrean bien los sonidos individuales, pero se confunden cuando en el guión hay varios. Por ejemplo, según el guión primero suena el timbre, luego los pasos, después el portazo. El generador puede alterar los eventos y el oyente escuchará los pasos antes del timbre.

Los investigadores encontraron una solución inesperada: en lugar de programar reglas complejas, tomaron una red neuronal que «entiende» el audio y la convirtieron en un controlador estricto. Esta red neuronal directora escucha la grabación y verifica si todos los eventos están en el lugar correcto y en el orden temporal adecuado. Si las ondas sonoras están desordenadas, asigna una puntuación. Comparando varias opciones de generación, el sistema aprende de estas preferencias: así está bien, así está mal. Para comprobarlo, los autores crearon el test S3Bench: un conjunto de historias cortas con instrucciones sonoras. El método aumentó la precisión del orden sin empeorar la calidad.

Sorprendentemente, el «juez» no fue un sistema experto complejo, sino otro modelo entrenado. Este tándem de autoaprendizaje promete pistas de audio más realistas en juegos y asistentes.