WanSong создаёт музыку подобно тому, как скульптор ваяет статую из глыбы мрамора: отправной точкой служит шум — хаотичное звучание, напоминающее рокот водопада, — из которого алгоритм шаг за шагом убирает всё лишнее, пока не проступают чистые ноты и голоса. Этот метод называется диффузией — процессом, обращающим хаос в порядок, словно мы наблюдаем рассеивание чернил в воде, но прокрученное в обратную сторону. В отличие от традиционных подходов, где звуки склеиваются из предварительно нарезанных фрагментов, WanSong рождает целостную песню сразу, без сборки из кусочков.
По сравнению с прежними решениями, модель способна формировать до пяти минут музыки за один проход и выдаёт две раздельные дорожки: вокал и инструментальное сопровождение. Это характеризует WanSong как фундаментальную модель — универсальную основу, пригодную для широкого круга задач, что, в частности, упрощает спектральный анализ звука — изучение распределения энергии по частотам и последующее редактирование. Кроме того, особая техника позволила сократить количество шагов диффузии, благодаря чему весь процесс происходит в разы быстрее.
Любопытно, что тот же принцип диффузии первоначально был освоен для создания фотореалистичных изображений, а теперь нашёл применение в сочинении полноценных музыкальных треков — неожиданный поворот от зрительного творчества к слуховому, открывающий новые горизонты на стыке искусственного интеллекта и искусства.
Диффузионные нейросети сначала рисовали картинки, а теперь сочиняют музыку.
Как в фильме «Она», где ОС сочиняет музыку, WanSong воплощает это в жизнь.