الصوت cs.SD

في سبتمبر 2024، لم يكن على خشبة المسرح في قاعة الحفلات في لينتس سوى الأوركسترا فحسب. فإلى جانب الموسيقيين، عملت منشأة تولد أزواجًا من الفوتونات المتشابكة: ليزر بطول موجة 405 نانومتر يصطدم ببلورة غير خطية وينقسم إلى فوتونين بطول موجة 810 نانومتر، ينطلقان إلى محطتي قياس: أليس وبوب.

عالم طيور في الأدغال يسمع تغريداً، لكن الطائر يختبئ بين الأوراق. ما أجمل أن يحصل فوراً على صورته - على الأقل من قاعدة بيانات الصور. عادةً، يتطلب ذلك آلاف الأزواج من "تسجيل التغريد + صورة لنفس الطائر"، وجمعها مكلف ويستغرق وقتاً طويلاً. ابتكر الباحثون طريقة غير مباشرة: استخدموا نموذجين جاهزين. أحدهما يفهم العلاقة بين الصورة والنص (مثل: "صدر أحمر، قبعة سوداء" ← صورة طائر أبو الحناء).

ألواح الغاميلان البرونزية لا تعزف وفق نغمة مرجعية موحدة: كل أوركسترا في جاوة تحافظ على ضبطها الخاص، وقد تعزف فرقتان متجاورتان اللحن نفسه بفواصل مختلفة قليلاً. هذه الحقيقة أصبحت نقطة انطلاق لتجربة غير عادية تجربة: ترجم العلماء 155 عامًا من شذوذات حرارة المحيط الهادئ إلى نغمات السلمين الجاويين وراقبوا كيف يحافظ الصوت على ديناميكية الفوضى المناخية.

المعلمة في الفصل تشرح الفرق بين «دوم» و«توم»: ضع يدك على حلقك واستشعر الاهتزاز. الآلة التي تتعرف على الكلام تفعل الشيء نفسه تقريبًا، لكن بدل الحلق، يوجد بداخلها قوائم طويلة من الأرقام. واتضح أن هذه الأرقام يمكن ترتيبها على رفوف — مثل مكعبات الحروف في غرفة الأطفال. أخذ العلماء نموذجًا دُرِّب على 96 لغة، ووجدوا بداخله اتجاهات مسؤولة عن خصائص معينة للأصوات. على سبيل المثال، هناك اتجاه «الجهر».

الأمعاء تتحدث مع الطبيب، ولكن بصوت خافت جدًا. أصوات القرقرة والفقاعات تستمر لأجزاء من الثانية وتضيع بسهولة بين أصوات الرئتين والقلب. السماعة الطبية تلتقط جزءًا صغيرًا فقط، لذا يعتمد التشخيص على خبرة وسمع الطبيب نفسه. المستشعر القابل للارتداء SonicGuard، المثبت على البطن، يستمع بشكل مستمر ويسجل كل حفيف. ثم يأتي دور الخوارزمية.

شبكة عصبية كبيرة، مثل Whisper، التي تتقن مئات اللغات، تشبه النموذج القياسي في فيزياء الجسيمات الأولية — نظامًا متناسقًا حيث كل شيء في توازن دقيق. ولكن بمجرد البدء في تدريبها على لغة نادرة، ينهار هذا التوازن: تتحول اللغة المستهدفة إلى ثقب أسود — منطقة تجذب بلا هوادة جميع موارد التدريب.

من الملائم تمثيل الإشارة الصوتية بعدد مركب: معامله (السعة) يعكس شدة الصوت، ووسيطه (الطور) يحدد موضع الموجة في الزمن وإزاحتها اللحظية. الشبكات العصبية التقليدية تقسم هذا الوصف الموحد إلى إحداثيين مستقلين – ببساطة، تحدد عنوانًا في شبكة ديكارتية: «خطوتان شرقًا وخطوة شمالًا».

النماذج التي تحول النص إلى صوت تتقن إعادة إنتاج الأصوات المنفردة، لكنها تحتار عندما يتضمن السيناريو عدة أحداث. على سبيل المثال، وفقًا للسيناريو يأتي رنين الجرس أولاً، ثم خطوات الأقدام، ثم صوت إغلاق الباب. قد يعيد المولد ترتيب الأحداث، فيسمع المستمع خطوات الأقدام قبل رنين الجرس. وجد الباحثون حلاً غير متوقع: بدلاً من برمجة قواعد معقدة، أخذوا شبكة عصبية 'تفهم' الصوت، وجعلوها مراقبًا صارمًا.

قائد الأوركسترا لا يحمل عصا، بل فرشاة، وكل إيماءة تولّد لونًا وشكلًا. هذا التشبيه يساعد على فهم التقنية الجديدة: فهي تحوّل الديناميكية العاطفية للأغنية إلى فيديو بانورامي يحيط بالمستمع — تمامًا كما يحوّل الفنان فكرته إلى لوحة مجسمة. أولًا، يقوم الخوارزمية، مثل التحليل الطيفي — وهو أسلوب لتحليل الضوء إلى أطوال موجية — بتفكيك المقطع إلى مكونات عاطفية.

حكّام الكلام الآليون هم خوارزميات تُقيّم النطق والعواطف. لكنهم غالبًا ما يعملون كناقد طعام يُصدر حكمه بعد قراءة القائمة دون تذوّق الطبق. فبدلاً من تحليل الصوت، يتشبث النموذج بالمؤشرات النصية — كما لو كان يحكم على طبق من خلال وصفتها لا مذاقها. أظهرت التجارب أنه إذا قمت ببساطة بتبديل تسجيلين صوتيين، فإن حكم الذكاء الاصطناعي يغيّر درجته، رغم بقاء الصوت كما هو.

يستخلص الإنسان دون عناء الصوتَ المطلوب من جلبة الحفل. أما بالنسبة للحاسوب، فما زال الأمر في حدود المستطاع. كانت البرامج السابقة تتدرب على تسجيلات عقيمة، لا صدى فيها ولا طنين أجهزة. لكنّ الحوار الحقيقي يشبه تيارًا عارمًا: المتحاورون يقاطعون، ويبتعدون عن الميكروفون، وفي الخلفية أزيز ماكينة القهوة. مسابقة REAL-TSE الجديدة ترمي بصنارتها لأول مرة في هذه المياه العكرة.

الذكاء الاصطناعي الذي يتنبأ بصوتيات قاعة ما يشبه طالباً في امتحان يحفظ الإجابات دون فهم. إذا كانت نقاط الفحص هي نفسها نقاط التدريب، يقوم النموذج ببساطة بحفظ "البصمة" الصوتية لكل موضع – كطالب يتعرف على ورقة الأسئلة من ثنية صغيرة فيها. شَدِّد القواعد – جمِّع البيانات حسب المواقع وأخفِ الدلائل الترددية – وستنهار الدقة من 85% إلى 9–57%.

مخطط الدماغ المغناطيسي — جهاز يشبه خوذة مزودة بمئات المستشعرات — يلتقط المجالات المغناطيسية الضعيفة التي تولدها الخلايا العصبية أثناء عملها. عندما يستمع الشخص إلى كلام، تختبئ في هذه الإشارات بصمات الكلمات المسموعة. لكن استخراجها ليس بالأمر السهل: فالإشارة القادمة من آلاف المصادر تندمج في كتلة متشابكة.