Модели, превращающие текст в аудио, хорошо воссоздают одиночные звуки, но путаются, когда в сценарии их несколько. Например, по сценарию сначала звонок, потом шаги, потом хлопок двери. Генератор может переставить события, и зритель услышит шаги до звонка.

Исследователи нашли неожиданное решение: вместо программирования сложных правил они взяли нейросеть, которая «понимает» аудио, и сделали её строгим контролёром. Эта нейросеть-дирижёр прослушивает запись и проверяет, все ли события на месте и в нужном временном порядке. Если звуковые волны перепутаны, она выставляет оценку, подобно тому как дирижёр оркестра слышит фальшивую ноту. Сравнивая несколько вариантов генерации, система учится на этих предпочтениях: вот так хорошо, а так плохо — метод обучения с подкреплением от внутреннего критика. Для проверки авторы создали тест S3Bench — набор коротких историй со звуковыми инструкциями, эталонных сценариев, где порядок событий строго задан. Метод повысил точность соблюдения порядка без ухудшения качества.

Удивительно, что «судьёй» выступила не сложная экспертная система, а другая обученная модель. Такой самообучающийся тандем, где одна сеть генерирует, а вторая оценивает, обещает более реалистичные звуковые дорожки в играх и голосовых помощниках, ведь теперь они не просто издают звуки, а следуют логике событий.