Музыкальный горизонт: как песня обретает объём экспресс
Дирижёр держит не палочку, а кисть, и каждый взмах рождает цвет и форму. Новая технология работает так же: она преобразует настроение песни в панорамное видео, которое окружает слушателя.
Сначала алгоритм, подобно анализу света по спектру, разлагает трек на эмоции. Каждые четыре такта он определяет, насколько музыка радостна и энергична, — всего два числа. Затем эти значения превращаются в яркость и насыщенность кадров, а резкие переходы добавляют непредсказуемости в картинку. Яркость подбирается с точностью замеров освещения. В итоге рождается фильм, где можно оглядеться, словно вы стоите внутри музыкальной шкатулки.
Интересно, что система игнорирует текст песен и не копирует клипы. Она передаёт чистую эмоциональную дугу — от тихой грусти до взрывной энергии. Так музыка становится видимой и объёмной.
Оригинальная аннотация
как её написали авторы, на английском arXiv:2607.13471
Music visualization offers a powerful way to enhance listeners' understanding and experience of music by translating auditory signals into visual forms. However, most existing approaches either rely heavily on lyrics or generate flat, non-immersive videos similar to conventional music videos, which limits their ability to convey the emotional dynamics of music and provide an immersive listening experience. We propose Bring Music The Horizon, an emotion-aware pipeline for music-driven 360$$^\circ$$ video generation. Given an input song, our work first estimates its emotional trajectory by predicting valence-arousal values at the level of every four bars. These values are then converted into emotion-aware visual guidance using EmotiCrafter, and these guidance vectors can be manipulated by the SEGA framework, which provides fine-grained semantic control for keyframe generation. Finally, image-to-video models are applied to the generated keyframes to synthesize temporally continuous 360$$^\circ$$ videos for immersive music visualization. Our pipeline generates 360$$^\circ$$ music visualization videos that reflect the emotional progression and temporal structure of the input song. We demonstrate its capability using songs from different genres and provide qualitative comparisons with From-Sound-To-Sight, a representative audio-to-visual generation baseline, on our project page at https://etoile-et-toi-mp3.github.io/BMTH_Project_Page/.
Валентность и возбуждение — две шкалы, которыми психологи описывают любое настроение. Именно на них опирается технология, чтобы перевести музыку в цвет и движение.
В будущем музыканты смогут создавать не просто альбомы, а целые виртуальные миры, в которые можно войти.