مترجم لم يحضر اجتماعًا يومًا ما يترجم حرفيًا — فيفقد نصف المعنى. فهو لا يعلم أن إيماءة الرئيس تعني «افعلوا كما في المرة السابقة»، وأن عبارة «حسنًا، سنرى» هي رفض مهذب. وكذلك النموذج اللغوي الذي يكتب كودًا بناءً على مقالة علمية: سيقرأ المعادلات، لكنه لن يقرأ الاتفاقيات غير المعلنة.

قرر مؤلفو الدراسة اختبار ما إذا كان يمكن تعليم الذكاء الاصطناعي استخراج هذه القواعد الخفية من النص. أخذوا مهمتين من فيزياء الكم للأجسام المتعددة — وهو المجال الذي يكون فيه عدد الجسيمات كبيرًا لدرجة أن عدّها واحدًا تلو الآخر لا معنى له. بالنسبة للمهمة الأولى، الأبسط، قام الإنسان والآلة معًا بوضع مواصفات تفصيلية: أي مؤشرات توضع وأين، وما هي الإشارة قبل الحد، وبأي ترتيب تُضرب العناصر. بعد ذلك، عمل البرنامج في جميع الحالات الست عشرة. وبدون هذا التحضير — في ست حالات فقط من أصل ثلاث عشرة.

أما المهمة الثانية فكانت أصعب. تطلبت إعادة بناء بنية رياضية معقدة، وكانت القواعد الخفية أكثر: الإشارات، المعايرة، الترتيب، قيود على الحجم. حتى بعد وضع المواصفات المشتركة، عملت البرامج في إحدى عشرة حالة فقط من أصل ست وعشرين. وبدون تحضير — لم تعمل إطلاقًا.

تفصيل مثير للاهتمام: المواصفات التي وضعها نموذج واحد نفذها نموذج آخر بشكل ممتاز، لكن العكس لم ينجح. هذا يعني أن المشكلة ليست فقط في فهم المقالة، بل أيضًا في قدرة النموذج نفسه على كتابة كود صحيح. نقطتا ضعف.

هذا النهج ليس مجرد وسيلة للحصول على برنامج. إنه أيضًا أداة تشخيصية: فهو يُظهر أين يتعثر الذكاء الاصطناعي تحديدًا. وربما يرشدنا إلى كيفية جعل النماذج أكثر ذكاءً.