Дирижёр держит не палочку, а кисть, и каждый взмах рождает цвет и форму. Новая технология работает так же: она преобразует настроение песни в панорамное видео, которое окружает слушателя.
Сначала алгоритм, подобно анализу света по спектру, разлагает трек на эмоции. Каждые четыре такта он определяет, насколько музыка радостна и энергична, — всего два числа. Затем эти значения превращаются в яркость и насыщенность кадров, а резкие переходы добавляют непредсказуемости в картинку. Яркость подбирается с точностью замеров освещения. В итоге рождается фильм, где можно оглядеться, словно вы стоите внутри музыкальной шкатулки.
Интересно, что система игнорирует текст песен и не копирует клипы. Она передаёт чистую эмоциональную дугу — от тихой грусти до взрывной энергии. Так музыка становится видимой и объёмной.
Валентность и возбуждение — две шкалы, которыми психологи описывают любое настроение. Именно на них опирается технология, чтобы перевести музыку в цвет и движение.
В будущем музыканты смогут создавать не просто альбомы, а целые виртуальные миры, в которые можно войти.