أوركسترا بدون قائد: المجموعة المرنة لاستدلال نماذج اللغة الكبيرة ✛

الأصل: "Elastic Gang: Per-Token Membership Change for a Hard-Barriered LLM Inference Gang Co-Scheduled with OS Processes"
· Daeyeon Son
arXiv:2607.04668 · 2026-07-06 · CC BY-SA 4.0 · 3 دقيقة
بروتوكول ACK-latch يحول مجموعة من الأنوية التي تنفذ استدلال LLM إلى فرقة مرنة تستعير وتعيد الأنوية بين الرموز دون توقف أو فقدان الدقة.

سبعة أنوية تجمدت عند حاجز غير مرئي. الثامن تأخر في عملية أخرى — وتوقف استدلال LLM بالكامل. هكذا تبدو المشكلة الرئيسية في تعايش مهام التعلم الآلي مع العمليات العادية على معالج واحد. مجموعة الاستدلال (gang) تتطلب أن تعمل جميع الأنوية في تناغم تام في نفس اللحظة — وإلا ساد الصمت. لكن نظام التشغيل لا يمكنه ببساطة تجميد نواة واحدة أثناء توليد رمز (token، أي كلمة أو جزء كلمة في نموذج اللغة): الحاجز (barrier) لن ينتظر المتأخر أبداً، والانضمام غير المصرح به لعضو جديد سيشوه النتيجة بشكل غير مرئي.

في Anima OS — نظام تشغيل مكتوب بلغة Rust — حُلّت هذه المشكلة بتحويل المجموعة إلى أوركسترا مرنة دون قائد. كل نواة-موسيقي يمكنها دخول الفرقة أو مغادرتها بدقة بين النغمات — أي بين الرموز. يعمل بروتوكول ACK-latch كالتالي: قبل بدء التوليد، يُرفع علم النشاط ويزداد رقم الحقبة (epoch). كل نواة قادرة على الإعارة تؤكد الحقبة الحالية، بعد أن تحفظ حالة عمليتها — مثل موسيقي يضع آلته في وضع الإيقاف المؤقت ويومئ برأسه. يتم تثبيت قائمة المشاركين للرمز التالي في كلمة ذرية واحدة — قناع بتّي (bitmask) يشمل فقط من تطابق تأكيدهم مع الحقبة عند لحظة التثبيت. يُنشر هذا القناع قبل بدء الرمز، وتقرأه كل نقطة انتظار حاجز. النواة التي لم تتمكن من التأكيد لا تُضمّن ببساطة في الرمز الحالي — لا أحد ينتظرها، وعملها يُسرق من قبل الجيران.

حتى مع 301 هجرة للعمليات خلال نافذة 10 ثوانٍ، بقي الاستدلال مطابقاً بتاً بتّ، ولم يتجاوز تشتت قياسات الإنتاجية 0.9%.

أظهرت الاختبارات على معالج AMD Ryzen 9 9800X3D (معمارية Zen 5) مع نموذجي SmolLM2-135M وQwen2.5-7B أنه: عندما كان ربع الوقت مخصصاً للاستدلال، زادت الإنتاجية الكلية للعمليات العادية بمقدار 1.75 مرة مقارنة بالتقسيم الثابت للأنوية — من 327 إلى 574 كم خدمة في الثانية. في الوقت نفسه، لم تنخفض سرعة التوليد، وبقي خرج النماذج مطابقاً بتاً بتّ للتكوين الثابت. قيمة تجزئة اللوجيتات (logits) النهائية — وهي التقديرات العددية لاحتمالات الرموز — 0x9a2917eca1a62bd1 لم تتغير في أي سيناريو. بلغ تأخير إعادة النواة بعد انتهاء التوليد وسيطاً 0.22 ميكروثانية — عملياً فوري. أما الاستيلاء على نواة مشغولة، وفق السياسة المحافظة، فيستغرق كم مجدول واحد (scheduler quantum، حوالي 16 ميلي ثانية): العملية المستأجرة لا تُقاطع خلال كمّها، ولا تنضم النواة إلى المجموعة إلا بعد انتهائه.

عند حمل استدلال بنسبة 25%، رفعت المجموعة المرنة الإنتاجية الكلية للنظام 1.75 مرة — ولم تخطئ أبداً في التوليد.

تحطم المجموعة المرنة الفكرة السائدة عن عدم توافق الحوسبة ذات الحواجز الصارمة مع إعادة التوزيع الديناميكي للأنوية. يحول بروتوكول ACK-latch مجموعة الاستدلال إلى كائن تخطيط متكامل: تتشارك الموارد مع باقي النظام دون فقدان الصحة. هذا يفتح الطريق لأنظمة تشغيل يكون فيها استدلال LLM ليس مهمة معزولة، بل خدمة عادية تتكيف مع الحمل مثلما تغير الأوركسترا تشكيلتها بين أجزاء السمفونية. يمكن نقل الآلية إلى Linux مع المجدول SCHED_DEADLINE، وتكييفها مع المعماريات غير المتجانسة (big.LITTLE)، ودمجها مع سياسات توفير الطاقة. هكذا، تتزامن المجموعة المرنة عبر كلمة نوتة موسيقية واحدة، وتخطو نحو حل المشكلة الأساسية للتعايش السلمي بين الحوسبة المتزامنة وغير المتزامنة في نظام واحد. الآن، النواة المتأخرة ليست مشكلة. إذا لم تصل إلى الحاجز في الوقت المحدد، فإنها ببساطة تفوت النغمة، وتستمر الأوركسترا المرنة في العزف — دون أن تنشز نغمة واحدة.

حتى مع 301 هجرة للعمليات خلال نافذة 10 ثوانٍ، بقي الاستدلال مطابقاً بتاً بتّ، ولم يتجاوز تشتت قياسات الإنتاجية 0.9%.

المفاهيم
آلة تورينج نماذج اللغة الكبيرة