Учительница в классе объясняет разницу между «дом» и «том»: приложите руку к горлу и почувствуйте вибрацию. Машина, которая распознаёт речь, делает примерно то же самое, только внутри у неё не горло, а длинные списки чисел. Оказалось, эти числа можно разложить по полочкам — как кубики с буквами в детской.
Учёные взяли модель, обученную на 96 языках, и нашли внутри неё направления, которые отвечают за отдельные свойства звуков. Например, есть направление «звонкость». Если взять вектор звука «п» и добавить к нему этот вектор, получится «б». Если добавить не весь вектор, а половинку, получится звук, который наполовину звонкий — как если бы диктор начал говорить шёпотом, но не до конца.
У этого открытия есть практическая польза. Если мы понимаем, как внутри модели устроены звуки, мы можем лучше настраивать распознавание речи для редких языков, где мало записей. Или сделать так, чтобы голосовой помощник не путал «кот» и «год» у людей с акцентом. Модель как будто получила в руки фонетический атлас — и теперь может путешествовать по нему осознанно, а не на ощупь.
как её написали авторы, на английском arXiv:2602.18899
Self-supervised speech models (S3Ms) are known to encode rich phonetic information, yet how this information is structured remains underexplored. We conduct a comprehensive study across 96 languages to analyze the underlying structure of S3M representations, with particular attention to phonological vectors. We first show that there exist linear directions within the model's representation space that correspond to phonological features. We further demonstrate that the scale of these phonological vectors correlate to the degree of acoustic realization of their corresponding phonological features in a continuous manner. For example, the difference between [d] and [t] yields a voicing vector: adding this vector to [p] produces [b], while scaling it results in a continuum of voicing. Together, these findings indicate that S3Ms encode speech using phonologically interpretable and compositional vectors, demonstrating phonological vector arithmetic. All code and interactive demos are available at https://github.com/juice500ml/phonetic-arithmetic .
В работе нашли, что если взять разницу между звуками «д» и «т» и добавить её к звуку «п», получится «б». Это как если бы из слова «дом» вычли «том» и получили инструкцию «сделай звонко».