Dans une salle de classe, l'institutrice explique la différence entre « dom » et « tom » : posez la main sur la gorge et sentez la vibration. La machine qui reconnaît la parole fait à peu près la même chose, sauf qu'à l'intérieur, ce n'est pas une gorge, mais de longues listes de nombres. Il s'avère que ces nombres peuvent être rangés sur des étagères — comme des cubes de lettres dans une chambre d'enfant.
Les scientifiques ont pris un modèle entraîné sur 96 langues et ont trouvé à l'intérieur des directions qui correspondent à des propriétés individuelles des sons. Par exemple, il existe une direction « voisement ». Si l'on prend le vecteur du son « p » et qu'on lui ajoute ce vecteur, on obtient « b ». Si l'on n'ajoute pas le vecteur entier, mais seulement la moitié, on obtient un son à moitié voisé — comme si le locuteur commençait à parler en chuchotant, mais sans aller jusqu'au bout.
Cette découverte a des applications pratiques. Si l'on comprend comment les sons sont organisés à l'intérieur du modèle, on peut mieux ajuster la reconnaissance vocale pour les langues rares, où il y a peu d'enregistrements. Ou encore faire en sorte que l'assistant vocal ne confonde pas « chat » et « gars » chez les personnes ayant un accent. Le modèle a en quelque sorte reçu un atlas phonétique entre les mains — et il peut désormais voyager à travers lui en connaissance de cause, et non plus à l'aveugle.
tel que rédigé par les auteurs, en anglais arXiv:2602.18899
Self-supervised speech models (S3Ms) are known to encode rich phonetic information, yet how this information is structured remains underexplored. We conduct a comprehensive study across 96 languages to analyze the underlying structure of S3M representations, with particular attention to phonological vectors. We first show that there exist linear directions within the model's representation space that correspond to phonological features. We further demonstrate that the scale of these phonological vectors correlate to the degree of acoustic realization of their corresponding phonological features in a continuous manner. For example, the difference between [d] and [t] yields a voicing vector: adding this vector to [p] produces [b], while scaling it results in a continuum of voicing. Together, these findings indicate that S3Ms encode speech using phonologically interpretable and compositional vectors, demonstrating phonological vector arithmetic. All code and interactive demos are available at https://github.com/juice500ml/phonetic-arithmetic .
Dans l'étude, on a constaté que si l'on prend la différence entre les sons « d » et « t » et qu'on l'ajoute au son « p », on obtient « b ». C'est comme si l'on soustrayait « tom » de « dom » pour obtenir l'instruction « rends-le voisé ».