ZipL-Dialog : la synthèse vocale devient 11 fois plus économique express
La vocalisation d'un texte long, comme un livre audio, exigeait auparavant que l'ordinateur garde en mémoire une image extrêmement détaillée de chaque seconde de son — comme s'il fallait dessiner un plan millimétré de tout le trajet pour une conversation d'une heure. Ces « cartes » étaient énormes, et même les machines puissantes s'essoufflaient à assembler la parole morceau par morceau.
La méthode ZipL-Dialog procède autrement : elle comprime d'abord le son en une image dense — comme un ressort tendu qui emmagasine de l'énergie potentielle. Dans ce monde compact, où les données sont moins nombreuses, le ressort « se déploie » en parole prête à l'emploi. Un système entraînable apprend à compresser et à restaurer le son sans perte d'expressivité, et le modèle ZipFormer travaille directement dans la représentation compressée.
Résultat : la consommation de mémoire en pic a chuté de 11,22 fois, et la vitesse de génération a augmenté de 2,23 fois. Désormais, un enregistrement d'une heure se fait sans interruption, comme si un meuble de disques était remplacé par une simple clé USB.
Un tournant surprenant : sous forme compressée, le son devient si compact qu'un roman entier peut tenir dans la mémoire vive d'un téléphone, et la synthèse commence à ressembler à un jeu sur un instrument invisible, où chaque note est extraite d'une tension mathématique.
Résumé original
tel que rédigé par les auteurs, en anglais arXiv:2607.12496
Zero-shot dialog TTS benefits from flow-matching, but minute-scale generation on dense mel-spectrograms causes severe memory bottlenecks, often forcing unnatural chunked synthesis. We propose ZipL-Dialog, which shifts conditional flow-matching into a 4x time-compressed (25 Hz) latent space. To preserve acoustic fidelity under compression, we employ a deterministic mel autoencoder with auxiliary mel-domain supervision and optimize the ZipFormer's hierarchical downsampling schedule. Experiments show that ZipL-Dialog reduces maximum peak GPU memory by 11.22x and accelerates inference by 2.23x over the baseline, substantially lowering the memory footprint of single-pass multi-minute dialog synthesis while maintaining perceptual naturalness.
Les systèmes modernes de synthèse vocale peuvent imiter la voix d'une personne spécifique à partir de quelques minutes d'enregistrement seulement — on appelle cela le clonage vocal.
Dans le film « Her », le héros tombe amoureux d'un système d'exploitation à la voix parfaite ; ZipL-Dialog rapproche le jour où les assistants vocaux bavarderont avec nous pendant des heures sans accroc.