📄 معروضة نسخة «بسيط» — «متقدم» غير جاهزة بعد. أضفه إلى المفضّلة للمساعدة في تسريعها. اطلب التحليل الكامل

كان تحويل النصوص الطويلة إلى كلام، مثل الكتب الصوتية، يتطلب في السابق من الحاسوب الاحتفاظ بصورة مفصلة جداً لكل ثانية من الصوت — كما لو كان عليك رسم خطة دقيقة بمقياس المليمتر لمسار رحلة تستغرق ساعة كاملة. كانت هذه 'الخرائط' ضخمة، وحتى الأجهزة القوية كانت تتعثر أثناء تجميع الكلام قطعة قطعة.

أما طريقة ZipL-Dialog فتتبع نهجاً مختلفاً: فهي تضغط الصوت أولاً إلى صورة موجزة — مثل زنبرك مشدود يختزن طاقة كامنة. وفي هذا العالم المضغوط حيث البيانات أقل، 'ينبسط' الزنبرك ليتحول إلى كلام جاهز. يتعلم النظام القابل للتدريب كيفية ضغط الصوت واستعادته دون فقدان التعبير، ويعمل نموذج ZipFormer مباشرة داخل التمثيل المضغوط.

النتيجة: انخفض استهلاك الذاكرة الأقصى بمقدار 11.22 مرة، وزادت سرعة التوليد بمقدار 2.23 مرة. والآن، يتم تسجيل الصوت لمدة ساعة دون توقف، كما لو أن محرك أقراص فلاش واحداً حل محل خزانة مليئة بالأقراص.

منعطف مدهش: في شكله المضغوط، يصبح الصوت مضغوطاً لدرجة أن رواية كاملة يمكن أن تتسع في ذاكرة الوصول العشوائي للهاتف، ويبدأ التوليف في أن يُشبه العزف على آلة غير مرئية، حيث تُستخرج كل نغمة من التوتر الرياضي.

الملخص الأصلي

كما كتبه المؤلفون، بالإنجليزية arXiv:2607.12496

Zero-shot dialog TTS benefits from flow-matching, but minute-scale generation on dense mel-spectrograms causes severe memory bottlenecks, often forcing unnatural chunked synthesis. We propose ZipL-Dialog, which shifts conditional flow-matching into a 4x time-compressed (25 Hz) latent space. To preserve acoustic fidelity under compression, we employ a deterministic mel autoencoder with auxiliary mel-domain supervision and optimize the ZipFormer's hierarchical downsampling schedule. Experiments show that ZipL-Dialog reduces maximum peak GPU memory by 11.22x and accelerates inference by 2.23x over the baseline, substantially lowering the memory footprint of single-pass multi-minute dialog synthesis while maintaining perceptual naturalness.