يتصفح الطبيب سجل المريض ويرى سطرًا: «الدواء يقلل الخطر». ولكن إلى أي مدى يمكن تصديق ذلك؟ هل يستند الادعاء إلى حالات قليلة من الممارسة العملية أم إلى عشرات الآلاف من المرضى في دراسة عمياء؟ يعتمد العلاج على الإجابة. اليوم، كثيرًا ما يكتب هذه النصوص ليس البشر، بل النماذج اللغوية الكبيرة — تلك التي تساعد في البحث عن المعلومات وإعداد الملخصات. قرر باحثون من عدة مجموعات علمية التحقق مما إذا كانت الآلة تفهم الفرق بين تلميح هش ونتيجة راسخة.

جمعوا 45,134 ادعاءً سريريًا من مصادر مفتوحة، وقدموا 20,611 منها إلى مقياس من أربع مستويات لقوة الأدلة: من «لا توجد بيانات تقريبًا» إلى «مؤكد بواسطة العديد من الدراسات». ثم طُلب من 22 نموذجًا لغويًا — من صغيرة بحجم كتاب جيب (0.6 مليار معامل) إلى كبيرة جدًا (70 مليارًا) — تقييم كل ادعاء. كانت النماذج متنوعة: عامة، طبية، وذات تركيز على المنطق. أذهلت النتيجة. عندما تم «النظر» داخل النموذج بواسطة مسبار رياضي خاص، كانت الإشارة حول القوة الحقيقية للأدلة تُقرأ بوضوح — بمتوسط دقة 71.8% (وكأن سبعة من كل عشرة ادعاءات تُوزن بشكل صحيح). ولكن عندما سُئل النموذج نفسه مباشرة: «ما مدى موثوقية هذا؟» — انزلقت الإجابات إلى تخمين عشوائي. بلغ الفارق 25–27 نقطة مئوية.

من المثير للاهتمام أن هذه الإشارة تبين أنها معجمية إلى حد كبير — فهي مرتبطة بالكلمات والعبارات، وليس بالفهم العميق. بمجرد نقل النموذج إلى موضوع طبي آخر أو نظام تقييم مختلف، اختفت القدرة على قراءة الإشارة. ومع ذلك، لم تتطابق مع التمييز البسيط بين الصواب والخطأ: يمكن للنموذج أن يحدد بشكل صحيح أن الادعاء ضعيف الإسناد حتى لو كان صحيحًا في الواقع. يبدو أن داخل العقل الاصطناعي تعيش حدسًا غير معلن حول هشاشة الحجج — لكنه لا يخرج إلى الخارج.

هذه البوصلة الصامتة هي أمل وتحذير في آن واحد. أمل، لأنه يمكن استخراج الإشارة واستخدامها حتى لو كان النموذج نفسه صامتًا. تحذير، لأنه اليوم، عند قراءة نص مولّد، لا نسمع الصوت الداخلي للآلة — ونخاطر بقبول الهش على أنه متين. الطبيب أمام الشاشة يرى سطورًا متساوية، لكنه لا يعرف ما إذا كانت الأرضية تهتز تحتها.