ZipL-Dialog: синтез речи стал 11 раз экономичнее экспресс
Озвучивание длинного текста, например аудиокниги, раньше требовало от компьютера держать в уме детальнейшую картину каждой секунды звука — как если бы для часового разговора пришлось рисовать миллиметровый план всего маршрута. Такие «карты» были огромны, и даже мощные машины захлёбывались, собирая речь по частям.
Метод ZipL-Dialog поступает иначе: он сперва сжимает звук до ёмкого образа — как тугая пружина вбирает в себя потенциальную энергию. В этом компактном мире, где данных меньше, пружина «распрямляется» в готовую речь. Обучаемая система учится сжимать и восстанавливать звук без потери выразительности, а модель ZipFormer работает прямо внутри сжатого представления.
Результат: пиковое потребление памяти обрушилось в 11,22 раза, а скорость генерации выросла в 2,23 раза. Теперь часовая запись голоса проходит без пауз, как если бы место шкафа с дисками заняла одна флешка.
Удивительный поворот: в сжатом виде звук становится настолько компактным, что целый роман может уместиться в оперативной памяти телефона, а синтез начинает напоминать игру на невидимом инструменте, где каждая нота извлекается из математической тугости.
Оригинальная аннотация
как её написали авторы, на английском arXiv:2607.12496
Zero-shot dialog TTS benefits from flow-matching, but minute-scale generation on dense mel-spectrograms causes severe memory bottlenecks, often forcing unnatural chunked synthesis. We propose ZipL-Dialog, which shifts conditional flow-matching into a 4x time-compressed (25 Hz) latent space. To preserve acoustic fidelity under compression, we employ a deterministic mel autoencoder with auxiliary mel-domain supervision and optimize the ZipFormer's hierarchical downsampling schedule. Experiments show that ZipL-Dialog reduces maximum peak GPU memory by 11.22x and accelerates inference by 2.23x over the baseline, substantially lowering the memory footprint of single-pass multi-minute dialog synthesis while maintaining perceptual naturalness.
Современные системы синтеза речи могут имитировать голос конкретного человека всего по нескольким минутам записей — это называют клонированием голоса.
В фильме «Она» герой влюбляется в ОС с идеальным голосом; ZipL-Dialog приближает день, когда голосовые ассистенты будут болтать с нами часами без запинки.