ZipL-Dialog: la síntesis de voz se vuelve 11 veces más económica exprés
Antes, la locución de un texto largo, como un audiolibro, requería que el ordenador tuviera en mente una imagen detalladísima de cada segundo de sonido, como si para una conversación de una hora hubiera que dibujar un plano milimétrico de todo el recorrido. Esos «mapas» eran enormes, e incluso máquinas potentes se atragantaban, ensamblando el habla por partes.
El método ZipL-Dialog hace lo contrario: primero comprime el sonido en una imagen compacta, como un resorte tenso que almacena energía potencial. En este mundo compacto, con menos datos, el resorte «se expande» en habla lista. El sistema entrenado aprende a comprimir y restaurar el sonido sin perder expresividad, y el modelo ZipFormer trabaja directamente dentro de la representación comprimida.
Resultado: el consumo máximo de memoria se desplomó 11,22 veces, y la velocidad de generación aumentó 2,23 veces. Ahora una grabación de voz de una hora transcurre sin pausas, como si un armario lleno de discos se sustituyera por una sola memoria USB.
Un giro sorprendente: en forma comprimida, el sonido se vuelve tan compacto que una novela entera puede caber en la memoria RAM de un teléfono, y la síntesis empieza a parecerse a tocar un instrumento invisible, donde cada nota se extrae de una tensión matemática.
Resumen original
tal como lo escribieron los autores, en inglés arXiv:2607.12496
Zero-shot dialog TTS benefits from flow-matching, but minute-scale generation on dense mel-spectrograms causes severe memory bottlenecks, often forcing unnatural chunked synthesis. We propose ZipL-Dialog, which shifts conditional flow-matching into a 4x time-compressed (25 Hz) latent space. To preserve acoustic fidelity under compression, we employ a deterministic mel autoencoder with auxiliary mel-domain supervision and optimize the ZipFormer's hierarchical downsampling schedule. Experiments show that ZipL-Dialog reduces maximum peak GPU memory by 11.22x and accelerates inference by 2.23x over the baseline, substantially lowering the memory footprint of single-pass multi-minute dialog synthesis while maintaining perceptual naturalness.
Los sistemas modernos de síntesis de voz pueden imitar la voz de una persona con solo unos minutos de grabaciones; esto se llama clonación de voz.
En la película «Her», el protagonista se enamora de un SO con una voz perfecta; ZipL-Dialog acerca el día en que los asistentes de voz charlarán con nosotros durante horas sin tropezar.