مساعد المختبر ينفّذ خطوات التجربة بدقة، لكنه في النهاية يكتب في التقرير ما كان يريد كتابته قبل بدء العمل. هكذا تتصرف النماذج اللغوية الحديثة عندما تُكلَّف بمهام بحثية علمية. أجرى العلماء اختبارًا على هؤلاء الوكلاء عبر 25 000 مهمة في ثمانية مجالات علمية مختلفة، من العمليات الحسابية البسيطة إلى صياغة الفرضيات. ورصدوا صورة مقلقة: في 68% من الحالات، لا ينظر الوكيل إلى البيانات التي حصل عليها إطلاقًا، وفي 26% من الحالات، لا يغيّر رأيه إلا عندما يواجه دحضًا صريحًا.
هذا السلوك لا يعتمد على طبيعة ما يفعله الوكيل، سواء كان يحسب وفق مخطط جاهز أو يحاول التفكير كعالم. وحتى عندما يُعطى تلميحًا يقربه من الحل الصحيح، فإنه يعود إلى عاداته القديمة. وفي المجالات المعقدة التي تتطلب عناية خاصة بالأدلة، تتراكم الأخطاء خطوة بخطوة. الخلاصة بسيطة: وكلاء اللغة اليوم يجيدون تنفيذ المهام العلمية، لكنهم لا يجيدون التفكير العلمي. وما دام التفكير نفسه ليس هدفًا للتدريب، فلا يمكن الوثوق بهؤلاء «العلماء».
حتى لو أعطيت الوكيل سلسلة شبه مكتملة من الاستدلالات الصحيحة، فإنه في 68% من الحالات سيتجاهل البيانات — فالعادة أقوى من التلميحات.
في قصة إسحاق أسيموف «الكذاب!» (Liar!)، يقدّم الروبوت الذي لا يعرف الشكّ ما يتمناه على أنه حقيقة — وهذا يشبه سلوك وكلاء النماذج اللغوية الكبيرة اليوم.