أفضل مساعد ذكاء اصطناعي للعلماء رسب في الامتحان أسوأ من طالب متوسط في اختبار قصير. 21% فقط من الإجابات الصحيحة — وهذا هو سقف أقوى أربعة نماذج. مسائل الاختبار الجديد لم يكتبها مبرمجون، بل طلاب دراسات عليا: أناس يواجهون العلم الحقيقي كل يوم.

سُمي الاختبار COMPOSITE-STEM. يضم 70 مسألة في الفيزياء والأحياء والكيمياء والرياضيات. على عكس مسائل المدارس، لا توجد إجابة واحدة صحيحة — بل يُقيَّم أسلوب التفكير نفسه. على سبيل المثال، لا يكفي حساب رقم، بل يجب شرح سبب اختيار هذه الطريقة. يُصحَّح بطريقتين: مقارنة دقيقة للإجابات، وتحكيم نموذج لغوي آخر.

النتيجة مخيبة للآمال: حتى أفضل نموذج يحل مسألة واحدة فقط من كل خمس. هذا يعني أن الذكاء الاصطناعي ما زال بعيدًا عن أن يكون مساعدًا حقيقيًا للعالم. لكن الاختبار مفتوح للجميع — يمكن لأي مطور اختبار نموذجه ومحاولة تحسين النتيجة.