Una maestra en clase explica la diferencia entre «casa» y «caza»: ponte la mano en la garganta y siente la vibración. Una máquina que reconoce el habla hace algo parecido, solo que dentro no tiene garganta, sino largas listas de números. Resulta que esos números se pueden ordenar en estantes, como bloques con letras en una guardería.
Los científicos tomaron un modelo entrenado en 96 idiomas y encontraron dentro de él direcciones que corresponden a propiedades individuales de los sonidos. Por ejemplo, existe la dirección «sonoridad». Si tomas el vector del sonido «p» y le sumas ese vector, obtienes «b». Si no sumas el vector completo, sino la mitad, obtienes un sonido que es medio sonoro, como si el locutor empezara a hablar en susurro pero no del todo.
Este hallazgo tiene utilidad práctica. Si entendemos cómo están organizados los sonidos dentro del modelo, podemos ajustar mejor el reconocimiento de voz para idiomas raros con pocas grabaciones. O hacer que el asistente de voz no confunda «perro» y «pero» en personas con acento. El modelo ha recibido como un atlas fonético y ahora puede viajar por él de forma consciente, no a tientas.
tal como lo escribieron los autores, en inglés arXiv:2602.18899
Self-supervised speech models (S3Ms) are known to encode rich phonetic information, yet how this information is structured remains underexplored. We conduct a comprehensive study across 96 languages to analyze the underlying structure of S3M representations, with particular attention to phonological vectors. We first show that there exist linear directions within the model's representation space that correspond to phonological features. We further demonstrate that the scale of these phonological vectors correlate to the degree of acoustic realization of their corresponding phonological features in a continuous manner. For example, the difference between [d] and [t] yields a voicing vector: adding this vector to [p] produces [b], while scaling it results in a continuum of voicing. Together, these findings indicate that S3Ms encode speech using phonologically interpretable and compositional vectors, demonstrating phonological vector arithmetic. All code and interactive demos are available at https://github.com/juice500ml/phonetic-arithmetic .
En el trabajo se encontró que si tomas la diferencia entre los sonidos «d» y «t» y se la sumas al sonido «p», obtienes «b». Es como si de la palabra «dom» restaras «tom» y obtuvieras la instrucción «hazlo sonoro».