Музыкальный горизонт: как песня обретает объём экспресс

Оригинал: "Bring Music The Horizon: Music-Driven 360$$^\circ$$ Video Generation"
arXiv:2607.13471 · 2026-07-15 · CC BY 4.0 · 1 мин
Искусственный интеллект превращает музыку в эмоциональное 360-градусное видео.

Дирижёр держит не палочку, а кисть, и каждый взмах рождает цвет и форму. Новая технология работает так же: она преобразует настроение песни в панорамное видео, которое окружает слушателя.

Сначала алгоритм, подобно анализу света по спектру, разлагает трек на эмоции. Каждые четыре такта он определяет, насколько музыка радостна и энергична, — всего два числа. Затем эти значения превращаются в яркость и насыщенность кадров, а резкие переходы добавляют непредсказуемости в картинку. Яркость подбирается с точностью замеров освещения. В итоге рождается фильм, где можно оглядеться, словно вы стоите внутри музыкальной шкатулки.

Интересно, что система игнорирует текст песен и не копирует клипы. Она передаёт чистую эмоциональную дугу — от тихой грусти до взрывной энергии. Так музыка становится видимой и объёмной.

Валентность и возбуждение — две шкалы, которыми психологи описывают любое настроение. Именно на них опирается технология, чтобы перевести музыку в цвет и движение.

В будущем музыканты смогут создавать не просто альбомы, а целые виртуальные миры, в которые можно войти.

Учёные
Christian DopplerD. B. McLaughlinDidier QuelozMichel MayorR. A. RossiterJames Clerk Maxwell
Понятия
компьютерное зрение медицинская акустическая визуализация ветер трубопровод трёхмерное изображение зрительная кора