Son cs.SD

En septembre 2024, dans la salle de concert de Linz, il n'y avait pas que l'orchestre sur scène. À côté des musiciens, un dispositif générait des paires de photons intriqués : un laser de longueur d'onde 405 nm frappait un cristal non linéaire et se divisait en deux photons de longueur d'onde 810 nm, qui s'envolaient vers deux stations de mesure, Alice et Bob.

Un ornithologue dans la jungle entend un trille, mais l'oiseau se cache dans le feuillage. Il aimerait bien obtenir son portrait sur-le-champ — ne serait-ce qu'à partir d'une base de photos. D'habitude, il faut pour cela des milliers de paires « enregistrement du chant + photo du même oiseau », et les collecter coûte cher et prend du temps.

Les lames de bronze du gamelan ne sonnent pas selon un diapason unique : chaque orchestre de Java maintient son propre accord, et deux ensembles voisins peuvent jouer la même mélodie avec des intervalles légèrement différents.

Dans une salle de classe, l'institutrice explique la différence entre « dom » et « tom » : posez la main sur la gorge et sentez la vibration. La machine qui reconnaît la parole fait à peu près la même chose, sauf qu'à l'intérieur, ce n'est pas une gorge, mais de longues listes de nombres.

L'intestin parle au médecin, mais très doucement. Les gargouillements et les bulles ne durent que des fractions de seconde et se perdent facilement parmi les sons des poumons et du cœur. Un stéthoscope ne capte qu'une petite partie, si bien que le diagnostic dépend de l'expérience et de l'oreille de chaque médecin.

Un grand réseau de neurones, comme Whisper, maîtrise des centaines de langues et ressemble au modèle standard de l'univers : tout est équilibré. Mais l'apprentissage d'une langue rare rompt cet équilibre — elle se transforme en trou noir qui attire toutes les ressources d'apprentissage.

Le son se décrit naturellement par un nombre complexe, où le volume représente la force de l'onde et la phase sa position dans le temps. Les réseaux de neurones classiques séparent ces deux aspects en coordonnées indépendantes, un peu comme si l'on donnait une adresse par quartiers : « deux à l'est, un au nord ».

Les modèles qui transforment le texte en audio reproduisent bien les sons isolés, mais se mélangent les pinceaux quand le scénario en comporte plusieurs. Par exemple, selon le scénario, on a d'abord une sonnerie, puis des pas, puis un claquement de porte. Le générateur peut intervertir les événements, et le spectateur entendra les pas avant la sonnerie.

Le chef d'orchestre ne tient pas une baguette, mais un pinceau, et chaque mouvement fait naître couleur et forme. La nouvelle technologie fonctionne de la même manière : elle convertit l'ambiance d'une chanson en vidéo panoramique qui enveloppe l'auditeur. D'abord, l'algorithme, à l'instar de l'analyse de la lumière par spectroscopie, décompose le morceau en émotions.

Les juges automatiques de la parole sont des algorithmes qui évaluent la prononciation et les émotions. Cependant, ils fonctionnent souvent comme un critique culinaire qui rend son verdict après avoir lu le menu, sans avoir goûté le plat.

Un humain extrait sans effort la voix qu'il cherche du brouhaha d'une fête. Pour un ordinateur, c'est encore une tâche à la limite du possible. Les programmes précédents étaient entraînés sur des enregistrements stériles, sans écho ni tintement de couverts.

L'intelligence artificielle qui prédit l'acoustique d'une salle fait penser à un étudiant qui triche à l'examen avec une antisèche. Si les points de validation sont les mêmes que ceux de l'entraînement, le modèle se contente de mémoriser l'« empreinte » sonore de chaque position, comme un étudiant qui reconnaît un sujet grâce à un coin de page plié.

Le magnétoencéphalographe, un appareil qui ressemble à un casque muni de centaines de capteurs, capte les faibles champs magnétiques produits par les neurones en activité. Lorsqu'une personne écoute de la parole, ces signaux renferment des empreintes des mots entendus.