ZipL-Dialog: la síntesis de voz se vuelve 11 veces más económica exprés
Antes, la locución de un texto largo, como un audiolibro, requería que el ordenador tuviera en mente una imagen detalladísima de cada segundo de sonido, como si para una conversación de una hora hubiera que dibujar un plano milimétrico de todo el recorrido. Esos «mapas» eran enormes, e incluso máquinas potentes se atragantaban, ensamblando el habla por partes.
El método ZipL-Dialog hace lo contrario: primero comprime el sonido en una imagen compacta, como un resorte tenso que almacena energía potencial. En este mundo compacto, con menos datos, el resorte «se expande» en habla lista. El sistema entrenado aprende a comprimir y restaurar el sonido sin perder expresividad, y el modelo ZipFormer trabaja directamente dentro de la representación comprimida.
Resultado: el consumo máximo de memoria se desplomó 11,22 veces, y la velocidad de generación aumentó 2,23 veces. Ahora una grabación de voz de una hora transcurre sin pausas, como si un armario lleno de discos se sustituyera por una sola memoria USB.
Un giro sorprendente: en forma comprimida, el sonido se vuelve tan compacto que una novela entera puede caber en la memoria RAM de un teléfono, y la síntesis empieza a parecerse a tocar un instrumento invisible, donde cada nota se extrae de una tensión matemática.
Los sistemas modernos de síntesis de voz pueden imitar la voz de una persona con solo unos minutos de grabaciones; esto se llama clonación de voz.
En la película «Her», el protagonista se enamora de un SO con una voz perfecta; ZipL-Dialog acerca el día en que los asistentes de voz charlarán con nosotros durante horas sin tropezar.