Учительница в классе объясняет разницу между «дом» и «том»: приложите руку к горлу и почувствуйте вибрацию. Машина, которая распознаёт речь, делает примерно то же самое, только внутри у неё не горло, а длинные списки чисел. Оказалось, эти числа можно разложить по полочкам — как кубики с буквами в детской.
Учёные взяли модель, обученную на 96 языках, и нашли внутри неё направления, которые отвечают за отдельные свойства звуков. Например, есть направление «звонкость». Если взять вектор звука «п» и добавить к нему этот вектор, получится «б». Если добавить не весь вектор, а половинку, получится звук, который наполовину звонкий — как если бы диктор начал говорить шёпотом, но не до конца.
У этого открытия есть практическая польза. Если мы понимаем, как внутри модели устроены звуки, мы можем лучше настраивать распознавание речи для редких языков, где мало записей. Или сделать так, чтобы голосовой помощник не путал «кот» и «год» у людей с акцентом. Модель как будто получила в руки фонетический атлас — и теперь может путешествовать по нему осознанно, а не на ощупь.
В работе нашли, что если взять разницу между звуками «д» и «т» и добавить её к звуку «п», получится «б». Это как если бы из слова «дом» вычли «том» и получили инструкцию «сделай звонко».