Le chef d'orchestre ne tient pas une baguette, mais un pinceau, et chaque mouvement fait naître couleur et forme. La nouvelle technologie fonctionne de la même manière : elle convertit l'ambiance d'une chanson en vidéo panoramique qui enveloppe l'auditeur.
D'abord, l'algorithme, à l'instar de l'analyse de la lumière par spectroscopie, décompose le morceau en émotions. Toutes les quatre mesures, il détermine à quel point la musique est joyeuse et énergique — deux nombres seulement. Ensuite, ces valeurs se transforment en luminosité et en saturation des images, et les transitions brusques ajoutent une touche d'imprévisibilité au tableau. La luminosité est ajustée avec la précision des mesures d'éclairage. Au final, naît un film où l'on peut regarder autour de soi, comme si l'on se tenait à l'intérieur d'une boîte à musique.
Fait intéressant : le système ignore les paroles des chansons et ne copie pas les clips. Il transmet l'arc émotionnel pur — de la tristesse silencieuse à l'énergie explosive. Ainsi, la musique devient visible et volumineuse.
La valence et l'excitation sont les deux échelles par lesquelles les psychologues décrivent toute humeur. C'est sur elles que s'appuie la technologie pour traduire la musique en couleur et en mouvement.
À l'avenir, les musiciens pourraient créer non pas de simples albums, mais des mondes virtuels entiers dans lesquels on pourrait entrer.