تنظيف ذكي في الشبكات العصبية: كيف تُسرّع التعلّم بنسبة 63% ✛

الأصل: "Optimus: A Generic Operator-Level PyTorch Model Transformation Framework"
arXiv:2607.02945 · 2026-07-03 · CC BY 4.0 · 2 دقيقة
Optimus يجد تلقائياً ويُزيل الخطوات الزائدة في المخططات الحسابية للشبكات العصبية، مما يجعل عملها أسرع وأكثر اقتصاداً.

الشبكات العصبية التوصية - تلك التي تختار لك موجز الأخبار - هي نتاج التعلم الآلي. تعمل مثل وصفات ضخمة بآلاف الخطوات. كل خطوة هي عملية بسيطة: جمع، ضرب، تقطيع مصفوفة أعداد. مع الوقت، عند تعديل النموذج، تتراكم في الوصفات إجراءات زائدة. تخيل طباخاً يقطع الجزر إلى شرائح ثم يلصقها فوراً مرة أخرى - بلا معنى، لكن الوصفة تتطلب ذلك. بالطريقة نفسها، في الشبكات العصبية يحدث أحياناً أن تُقسَّم البيانات أولاً إلى أجزاء، ثم في الخطوة التالية تُجمَع ثانية. كل إجراء من هذا القبيل يُطلق مهمة منفصلة على بطاقة الرسوميات، فبدلاً من عملية حسابية سريعة واحدة نحصل على طابور من مئات المهام الصغيرة. في السابق، كان المهندسون يبحثون عن هذه العيوب يدوياً، لكن النماذج تُحدَّث كل أسبوع - بدون التحسين الآلي أصبح ترتيب الأمور مستحيلاً.

في أحد الاختبارات، كانت الوصفة الأصلية تتطلب 12 772 مهمة منفصلة لبطاقة الرسوميات. بعد التنظيف، بقي منها 24 مهمة فقط - وكأن بدلاً من ألف ساعي يحملون طروداً فردية جاءت شاحنة واحدة.

Optimus هو "منظف" مضمّن في المترجم PyTorch، يعرف أكثر من ثلاثين نمطاً نموذجياً عديم الفائدة. يمر عبر المخطط الحسابي بأكمله، الذي يسميه المتخصصون غرافاً (مجموعة من الخطوات المترابطة)، ويقارنه بالأنماط: إذا رأى عقدة مألوفة من نوع "اقطع وألصق"، يستبدلها فوراً بنقل بسيط للبيانات. إذا كانت الوصفة تحتوي على عشر عمليات متطابقة متتالية، يقوم بدمجها في عملية واحدة. كل هذا التنظيف لا يغير النتيجة النهائية - ستحصل على نفس الإجابة، لكن الطريق إليها سيصبح مباشراً. بفضل عمل القواعد على لغة داخلية مشتركة، مجموعة واحدة من الأنماط تناسب مئات النماذج المختلفة، بغض النظر عن طوبولوجيتها (البنية الداخلية للوصلات).

تخيل أنك كتبت رسالة طويلة مليئة بالتكرار، ثم قام محرر آلي باختصارها إلى الجوهر دون فقدان المعنى. Optimus يفعل الشيء نفسه مع المخططات الرياضية.

التأثير ملحوظ. النماذج الصناعية التي كانت تعمل ببطء بسبب المخططات المتغيرة ديناميكياً أصبحت تتعلّم أسرع بنسبة تصل إلى 63%. في اختبار متطرف، أظهرت المحاكاة العددية أن عدد النوى الحاسوبية أثناء التعلّم تقلص من 13 ألف تقريباً إلى 24، وعند استخدام النموذج الجاهز - من ستة آلاف إلى ستة. انخفضت الذروة في استهلاك الذاكرة بعدة في المئة - وهو أمر بالغ الأهمية للمهام الكبيرة. كود Optimus مفتوح المصدر ومضمّن في PyTorch، لذا يمكن لأي مطوّر استخدامه بل وإضافة أنماطه الخاصة - مما يجعل الشبكات العصبية أسرع وأكثر صداقة للبيئة.

خفض زمن الترجمة بمقدار 400 ثانية يشبه أن تباشر عملك مباشرة بدلاً من تحضير القهوة، وتفقد البريد الإلكتروني، وانتظار فتح بيئة التطوير. أما انخفاض عدد إطلاقات النوى في الاستدلال للنموذج التوضيحي من 6320 إلى 6، فيمكن تشبيهه باستبدال جموع من السعاة بشاحنة واحدة.

\min_{G'} \text{Cost}(G') \quad \text{s.t.} \quad \text{Result}(G') = \text{Result}(G)
يبحث المُحسِّن عن غراف عمليات حسابية يحقق النتيجة نفسها بأقل تكلفة — من حيث الوقت والذاكرة وعدد النوى.
العلماء
Andrey Markov
المفاهيم
التحسين إكس جي بوست خوارزمية جينية تدريب المُحَوِّلات (Transformers) تحسين موارد الحوسبة الكمومية الخوارزمية الكمومية نماذج اللغة الكبيرة