WanSong создаёт музыку, как скульптор ваяет статую: начинает с шума, похожего на рокот водопада, и постепенно убирает всё лишнее, пока не проступают чистые ноты и голоса. Этот метод — диффузия — обращает хаос в порядок, словно рассеивание чернил в воде, только наоборот. Модель не склеивает звуки из кусочков, а рождает готовую песню сразу.
В отличие от прежних решений, WanSong формирует до пяти минут музыки за один проход и выдаёт две раздельные дорожки: голос и инструменты. Это настоящая фундаментальная модель, которая упрощает анализ звукового спектра для редактирования. Вдобавок, особая техника сокращает число шагов, и всё происходит в разы быстрее.
Тот же принцип диффузии сначала научили создавать фотореалистичные изображения. Теперь он сочиняет полноценные треки — неожиданный поворот от зрительного к слуховому творчеству.
Диффузионные нейросети сначала рисовали картинки, а теперь сочиняют музыку.
Как в фильме «Она», где ОС сочиняет музыку, WanSong воплощает это в жизнь.