IAFormer: انتباه متناثر لتحليل التصادمات ✛

الأصل: "IAFormer: Interaction-Aware Transformer network for collider data analysis"
· W. Esmail, A. Hammad, M. Nojiri
arXiv:2505.03258 · 2025-05-06 · CC BY 4.0 · 2 دقيقة
بنية محوِّل جديدة تعتمد على انتباه متناثر ديناميكي تقلِّص عدد المعاملات بعشرة أضعاف مع الحفاظ على جودة تمييز النفاثات.

في مصادم الهادرونات الكبير، تولد ملايين النفاثات كل ثانية، وهي تدفقات من الجسيمات تنبثق من كوارك أو غلوون واحد. التمييز بين نفاثة ناتجة عن كوارك قمة ونفاثة ناتجة عن كوارك عادي هو مهمة يتوقف عليها البحث عن فيزياء جديدة. تستطيع الشبكات العصبية المحوِّلة الحديثة القيام بذلك بدقة عالية، لكنها تدفع ثمن ذلك بعدد هائل من المعاملات والحسابات. تقدم IAFormer مسارًا مختلفًا: بدلاً من أن يستمع المترجم إلى جميع المتحدثين في القاعة، يقوم بتصفية الضوضاء الخلفية والتركيز فقط على الأصوات الرئيسية.

عدد العمليات في IAFormer هو 38 مليونًا، بينما في المحوِّل التقليدي 300 مليون. ومع ذلك، لا تنخفض الدقة بل تزداد.

في المحوِّل التقليدي، تتم مقارنة كل جسيم في النفاثة مع كل جسيم آخر من خلال الضرب القياسي للاستعلامات والمفاتيح. تستبدل IAFormer هذا بمصفوفة تفاعلات زوجية قابلة للتعلم تعتمد على كميات ثابتة لورينتز: كتلة الزوج، والمسافة الزاوية، والعزم العرضي. يُحسب الانتباه كالفرق بين نسختين من هذه المصفوفة بمعامل β تقوم الشبكة بضبطه بنفسها. يعمل β على كبت مساهمة الأزواج غير ذات الصلة، ويتجاهل الانتباه المتناثر الإشعاع اللين، وهو تلك الضوضاء الخلفية بالذات. ونتيجة لذلك، ينخفض عدد المعاملات من 2.14 مليون (في نموذج ParT) إلى 211 ألفًا، وتصل الدقة في مهمة تمييز كواركات القمة إلى 0.942.

يُظهر التحليل التفسيري أن β يزداد في الطبقات الأولى وينخفض نحو الطبقات الأخيرة. تبني الشبكة أولاً متغيرات جماعية مستقرة، ثم تتخلص من المعلومات الزائدة. تؤكد خرائط الانتباه أن IAFormer يستخرج بنى فيزيائية مهمة طبقة تلو الأخرى، تمامًا كمترجم ماهر يلتقط المعنى العام في بداية الاجتماع ثم يستبعد التكرار والضوضاء في النهاية.

كان يُعتقد سابقًا أن التوصيف الدقيق للنفاثات يتطلب ملايين المعاملات ومئات الملايين من العمليات. أظهر IAFormer أن التخلخل المبني على دوافع فيزيائية يمكن أن يحل محل البارامترية الزائدة. وهذا يغير الفكرة السائدة حول التعقيد الضروري للنماذج ويفتح الطريق أمام بنى خفيفة وسريعة وقابلة للتفسير لتحليل بيانات LHC. يمكن لتجارب ATLAS وCMS، حيث تكون السرعة والدقة في تصنيف النفاثات أمرًا حاسمًا، أن تستفيد من هذا النهج اليوم.

عدد FLOPs في IAFormer (38 مليون) أقل بنحو 8 مرات من المحول العادي (300 مليون)، بينما جودة التصنيف أعلى. الأمر أشبه بمترجم يتجاهل الضوضاء الخلفية فيعمل أسرع وأدق من زميله الذي يستمع إلى كل شيء.

العلماء
Ashish Vaswani
المفاهيم
المُحَوِّلات (Transformers) آلية الانتباه مصنف المشفر الذاتي تعلم النقل الإطار مقياس التداخل