Horizon musical : quand la chanson prend du volume express
Le chef d'orchestre ne tient pas une baguette, mais un pinceau, et chaque geste fait naître couleur et forme. La nouvelle technologie fonctionne de la même manière : elle transforme l'humeur d'une chanson en vidéo panoramique qui enveloppe l'auditeur.
D'abord, l'algorithme, à la manière d'une analyse de la lumière par spectroscopie, décompose le morceau en émotions. Toutes les quatre mesures, il détermine à quel point la musique est joyeuse et énergique — deux nombres seulement. Ensuite, ces valeurs se transforment en luminosité et en saturation des images, et les transitions brusques ajoutent une touche d'imprévisibilité au tableau. La luminosité est ajustée avec la précision de mesures photométriques. Au final, naît un film où l'on peut regarder autour de soi, comme si l'on se tenait à l'intérieur d'une boîte à musique.
Fait intéressant : le système ignore les paroles et ne copie pas les clips. Il transmet l'arc émotionnel pur — de la tristesse silencieuse à l'énergie explosive. Ainsi, la musique devient visible et volumineuse.
Résumé original
tel que rédigé par les auteurs, en anglais arXiv:2607.13471
Music visualization offers a powerful way to enhance listeners' understanding and experience of music by translating auditory signals into visual forms. However, most existing approaches either rely heavily on lyrics or generate flat, non-immersive videos similar to conventional music videos, which limits their ability to convey the emotional dynamics of music and provide an immersive listening experience. We propose Bring Music The Horizon, an emotion-aware pipeline for music-driven 360$$^\circ$$ video generation. Given an input song, our work first estimates its emotional trajectory by predicting valence-arousal values at the level of every four bars. These values are then converted into emotion-aware visual guidance using EmotiCrafter, and these guidance vectors can be manipulated by the SEGA framework, which provides fine-grained semantic control for keyframe generation. Finally, image-to-video models are applied to the generated keyframes to synthesize temporally continuous 360$$^\circ$$ videos for immersive music visualization. Our pipeline generates 360$$^\circ$$ music visualization videos that reflect the emotional progression and temporal structure of the input song. We demonstrate its capability using songs from different genres and provide qualitative comparisons with From-Sound-To-Sight, a representative audio-to-visual generation baseline, on our project page at https://etoile-et-toi-mp3.github.io/BMTH_Project_Page/.
La valence et l'excitation sont deux échelles que les psychologues utilisent pour décrire toute humeur. C'est sur elles que s'appuie la technologie pour traduire la musique en couleur et en mouvement.
À l'avenir, les musiciens pourraient créer non pas de simples albums, mais des mondes virtuels entiers dans lesquels on pourrait entrer.