Модели, превращающие текст в аудио, хорошо воссоздают одиночные звуки, но путаются, когда в сценарии их несколько. Например, по сценарию сначала звонок, потом шаги, потом хлопок двери. Генератор может переставить события, и зритель услышит шаги до звонка.
Исследователи нашли неожиданное решение: вместо программирования сложных правил они взяли нейросеть, которая «понимает» аудио, и сделали её строгим контролёром. Эта нейросеть-дирижёр прослушивает запись и проверяет, все ли события на месте и в нужном временном порядке. Если звуковые волны перепутаны, она выставляет оценку. Сравнивая несколько вариантов генерации, система учится на этих предпочтениях: вот так хорошо, а так плохо. Для проверки авторы создали тест S3Bench — набор коротких историй со звуковыми инструкциями. Метод повысил точность соблюдения порядка без ухудшения качества.
Удивительно, что «судьёй» выступила не сложная экспертная система, а другая обученная модель. Такой самообучающийся тандем обещает более реалистичные звуковые дорожки в играх и помощниках.
Наш слух без усилий восстанавливает хронологию бытовых звуков, а для ИИ это до сих пор не очевидно: спутать звонок с хлопком — обычное дело.