WanSong: генерация музыки из шума за один проход ✎ экспресс

Оригинал: "WanSong v1.0 Technical Report"
arXiv:2607.14749 · 2026-07-16 · arXiv non-exclusive · собственный разбор · 1 мин
Нейросеть WanSong превращает случайный шум в песни длиной до пяти минут с вокалом и инструментами.

WanSong создаёт музыку подобно тому, как скульптор ваяет статую из глыбы мрамора: отправной точкой служит шум — хаотичное звучание, напоминающее рокот водопада, — из которого алгоритм шаг за шагом убирает всё лишнее, пока не проступают чистые ноты и голоса. Этот метод называется диффузией — процессом, обращающим хаос в порядок, словно мы наблюдаем рассеивание чернил в воде, но прокрученное в обратную сторону. В отличие от традиционных подходов, где звуки склеиваются из предварительно нарезанных фрагментов, WanSong рождает целостную песню сразу, без сборки из кусочков.

По сравнению с прежними решениями, модель способна формировать до пяти минут музыки за один проход и выдаёт две раздельные дорожки: вокал и инструментальное сопровождение. Это характеризует WanSong как фундаментальную модель — универсальную основу, пригодную для широкого круга задач, что, в частности, упрощает спектральный анализ звука — изучение распределения энергии по частотам и последующее редактирование. Кроме того, особая техника позволила сократить количество шагов диффузии, благодаря чему весь процесс происходит в разы быстрее.

Любопытно, что тот же принцип диффузии первоначально был освоен для создания фотореалистичных изображений, а теперь нашёл применение в сочинении полноценных музыкальных треков — неожиданный поворот от зрительного творчества к слуховому, открывающий новые горизонты на стыке искусственного интеллекта и искусства.

Диффузионные нейросети сначала рисовали картинки, а теперь сочиняют музыку.

Как в фильме «Она», где ОС сочиняет музыку, WanSong воплощает это в жизнь.

Учёные
Ludwig BoltzmannRudolf ClausiusJacob BekensteinStephen HawkingJames Clerk MaxwellEdward Witten
Понятия
диффузионные модели экспрессия генов