تقويم مسارات الغرافات: كيف سرّعت Meta تدريب الشبكات العصبية بنسبة 63% ✛

الأصل: "Optimus: A Generic Operator-Level PyTorch Model Transformation Framework"
arXiv:2607.02945 · 2026-07-03 · CC BY 4.0 · 3 دقيقة
أطلق مطورون من Meta إطار عمل Optimus، الذي يقوم تلقائياً بتقويم سلاسل العمليات المتشابكة في النماذج التوصيوية، مما يحقق زيادة في السرعة تصل إلى 63% ويختصر وقت الترجمة بمئات الثواني.

تعمل الأنظمة التوصيوية، التي تحدد المنشور الذي ستراه تالياً، على الشبكات العصبية (Neural Networks) العميقة المكونة من آلاف العمليات — الغرافات (graphs) الحسابية المعقدة (مخططات من العمليات على البيانات). هذه الأنظمة عبارة عن الأنظمة الديناميكية حية ومتطورة باستمرار: أي تغيير طفيف في الهيكلية ينتشر كالشلال في جميع أنحاء الغراف. ومع زيادة دقة النماذج، تتشابك المسارات: فالتفرعات الزائدة مثل 'تقطيع الموتر (مصفوفة متعددة الأبعاد من الأعداد) إلى أجزاء ثم لصقها فوراً' تخلق اختناقات حقيقية على معالجات الرسوميات. كل انعطاف من هذا القبيل يشغل نواة حوسبية منفصلة، وخلال يوم تدريب واحد قد يتراكم تريليونات من عمليات الإطلاق الزائدة. يحاول المهندسون تنظيف هذه المسارات يدوياً، لكن النماذج تتغير كل أسبوع، وأصبح من المستحيل فرض النظام في هذه الفوضى العشوائية دون مساعدة الآلة.

للتوضيح: في أحد النماذج الاختبارية، تجاوز عدد إطلاق النوى على GPU أثناء التدريب 12 000. بعد التحسين، تبقى منها 24 فقط. تخيل أنه بدلاً من حشد من 12 772 ساعيًا يحمل كل منهم طردًا واحدًا، تقوم شاحنة واحدة بها 24 قسمًا بنقل الحمولة.

Optimus هو وحدة داخل مترجم PyTorch 2.x، تعمل كرسام خرائط جشع. وهو مزود بمكتبة تضم أكثر من ثلاثين نموذج تحسين — أنماط نموذجية للعمليات الزائدة مثل سلسلة القص ثم اللصق. تبدأ الخوارزمية من نقاط ارتكاز — عمليات حرجة تلتف حولها الفوضى — وتتجول في العقد المجاورة، مقارِنةً كل خطوة بنموذج مرجعي. وعند العثور على تطابق، تقوم بقص البنية المتضخمة وإدراج مكافئ مضغوط. تعمل التنظيف الأفقي على دمج عشرات الطبقات المتماثلة في طبقة واحدة، بينما يزيل التنظيف العمودي الانقسامات واللصق غير المجدية. لا يغير الإجراء بأكمله النتيجة النهائية، لكنه يبسط الغراف الداخلي بشكل جذري. وهذا التحسين ينطبق على الغرافات من أي طوبولوجيا، لأن القواعد تُطبق على التمثيل الوسيط العالمي Torch-IR.

تعمل القواعد على تمثيل وسيط عالمي، لذا فإن نفس مجموعة القوالب تنطبق على مئات النماذج غير المتجانسة دون أي تعديل.

كان التأثير على الأنظمة الصناعية لـ Meta ملموساً. أظهرت خمسة التعلم الآلي توصيوية ذات هياكل مختلفة زيادة في سعة التدفق تصل إلى 63% — المزيد من أمثلة التدريب في الثانية دون تغيير المعدات. أزالت عمليات التنظيف العمودية مئات النوى الطفيلية من Triton، بينما دمجت الأفقية العديد من العمليات المتماثلة في عملية واحدة؛ وكلما زادت النسخ، كان المكسب أوضح. انخفض استهلاك الذروة للذاكرة بنسبة 2–6%، وهو أمر بالغ الأهمية للنماذج التي تستخدم تكميم التفعيلات، حيث يكون كل ميغابايت ذا قيمة. في اختبار توضيحي على TorchBench، انهار عدد النوى في التدريب من 12 772 إلى 24، وفي الاستدلال من 6 320 إلى 6، محققاً تسريعاً بمقدار 11 و 364 مرة على التوالي. أصبح هذا الانتصار المحاكاة العددية ممكناً بفضل أن Optimus يعمل على مستوى المترجم، ويرى الغراف بأكمله.

يحول هذا الإطار الشبكة الفوضوية من المسارات إلى طريق سريع للبيانات، والأهم من ذلك أن جميع أدواته مفتوحة للجميع. الكود مدمج في PyTorch، ويمكن لأي مطور ليس فقط استخدام القوالب الجاهزة، بل أيضاً إضافة قوالب خاصة به، لتعليم النظام تقنيات جديدة للتقويم. في المستقبل، يخطط المؤلفون لنقل التحسين إلى مستوى أدنى وهو Inductor-IR، وتعليم الخوارزمية اختيار أفضل تسلسل للقواعد بنفسها — دون تدخل بشري. هذا ليس مجرد تسريع للتدريب؛ إنها خطوة نحو شبكات عصبية ذاتية التحسين، تتكيف تلقائياً مع العتاد، مما يوفر الكهرباء والوقت. لن تلتهم المسارات المتشابكة للغرافات الموارد بعد الآن دون فائدة — سيقوم الطيار الآلي بتقويمها.

تقليل وقت الترجمة بمقدار 400 ثانية — قارن ذلك بتحضير قهوة الصباح وتفقد البريد الإلكتروني — الآن يتم استغلال هذا الوقت بشكل مفيد. أما ضغط الاستدلال من 6320 نواة إلى 6 فيشبه استبدال 6320 ساعيًا بمركز لوجستي واحد يعالج كل شيء في مكان واحد.

\min_{G'} \text{Cost}(G') \quad \text{s.t.} \quad \text{Result}(G') = \text{Result}(G)
يبحث المُحسِّن عن غراف عمليات حسابية يحقق النتيجة نفسها بأقل تكلفة — من حيث الوقت والذاكرة وعدد النوى.
العلماء
Andrey Markov
المفاهيم
التحسين إكس جي بوست خوارزمية جينية تدريب المُحَوِّلات (Transformers) تحسين موارد الحوسبة الكمومية الخوارزمية الكمومية نماذج اللغة الكبيرة