يتصفح الطبيب سجل المريض ويرى سطرًا: «الدواء يقلل الخطر». ولكن إلى أي مدى يمكن تصديق ذلك؟ هل يستند الادعاء إلى حالات قليلة من الممارسة العملية أم إلى عشرات الآلاف من المرضى في دراسة عمياء؟ يعتمد العلاج على الإجابة. اليوم، كثيرًا ما يكتب هذه النصوص ليس البشر، بل النماذج اللغوية الكبيرة — تلك التي تساعد في البحث عن المعلومات وإعداد الملخصات. قرر باحثون من عدة مجموعات علمية التحقق مما إذا كانت الآلة تفهم الفرق بين تلميح هش ونتيجة راسخة.
جمعوا 45,134 ادعاءً سريريًا من مصادر مفتوحة، وقدموا 20,611 منها إلى مقياس من أربع مستويات لقوة الأدلة: من «لا توجد بيانات تقريبًا» إلى «مؤكد بواسطة العديد من الدراسات». ثم طُلب من 22 نموذجًا لغويًا — من صغيرة بحجم كتاب جيب (0.6 مليار معامل) إلى كبيرة جدًا (70 مليارًا) — تقييم كل ادعاء. كانت النماذج متنوعة: عامة، طبية، وذات تركيز على المنطق. أذهلت النتيجة. عندما تم «النظر» داخل النموذج بواسطة مسبار رياضي خاص، كانت الإشارة حول القوة الحقيقية للأدلة تُقرأ بوضوح — بمتوسط دقة 71.8% (وكأن سبعة من كل عشرة ادعاءات تُوزن بشكل صحيح). ولكن عندما سُئل النموذج نفسه مباشرة: «ما مدى موثوقية هذا؟» — انزلقت الإجابات إلى تخمين عشوائي. بلغ الفارق 25–27 نقطة مئوية.
من المثير للاهتمام أن هذه الإشارة تبين أنها معجمية إلى حد كبير — فهي مرتبطة بالكلمات والعبارات، وليس بالفهم العميق. بمجرد نقل النموذج إلى موضوع طبي آخر أو نظام تقييم مختلف، اختفت القدرة على قراءة الإشارة. ومع ذلك، لم تتطابق مع التمييز البسيط بين الصواب والخطأ: يمكن للنموذج أن يحدد بشكل صحيح أن الادعاء ضعيف الإسناد حتى لو كان صحيحًا في الواقع. يبدو أن داخل العقل الاصطناعي تعيش حدسًا غير معلن حول هشاشة الحجج — لكنه لا يخرج إلى الخارج.
هذه البوصلة الصامتة هي أمل وتحذير في آن واحد. أمل، لأنه يمكن استخراج الإشارة واستخدامها حتى لو كان النموذج نفسه صامتًا. تحذير، لأنه اليوم، عند قراءة نص مولّد، لا نسمع الصوت الداخلي للآلة — ونخاطر بقبول الهش على أنه متين. الطبيب أمام الشاشة يرى سطورًا متساوية، لكنه لا يعرف ما إذا كانت الأرضية تهتز تحتها.
كما كتبه المؤلفون، بالإنجليزية arXiv:2606.29034
Large language models (LLMs) increasingly summarize clinical evidence, where a claim's weight depends on how strongly it is supported. Yet these models convey confidence poorly, and properties they never state, such as truth, are often readable from their activations. Whether a clinical model registers evidence strength, distinct from truth, and states it when asked is untested, and any such signal could be lexical. We compiled 45,134 clinical claims from six public sources, harmonized 20,611 into a four-level evidence grade under three independent frameworks, and tested 22 local, open-weight LLMs from several developers (0.6-70 billion parameters; general, medical, and reasoning), with lexical, truth, and cross-framework controls. A linear estimator recovered the grade in every model (median AUROC 71.8), yet decodability did not rise with scale and was weakest in reasoning models. The grade the models stated fell to chance, 25-27 percentage points below the estimator. The recoverable signal was largely lexical and did not transfer across topics or frameworks, yet it was distinct from factual truth and still flagged weakly supported claims (AUROC 69.2). Clinical LLMs thus carry an ordered evidence-strength signal they do not express, so their stated grades fail to convey a claim's support even when it is recoverable from their representations and text.
تبين أن الإشارة الداخلية حول قوة الأدلة كانت أقوى في النماذج العادية، بينما كانت أضعف في النماذج المتخصصة «الطبية» و«المنطقية». وكأن التخصص الضيق يضعف الحدس العام.