عند دراسة النجوم النيوترونية — البقايا فائقة الكثافة لـعمالقة منفجرة — يبحث الفلكيون عن أدلة في الموجات الثقالية: ارتعاشات الفضاء التي تولد عند الانهيار. تلتقط كواشف مثل LIGO هذا التموج، باستخدام قياس ليزري فائق الدقة. يجب على البرامج المتعلمة أن تحدد خصائص المادة في الداخل من شكل الموجة. لكن الاختبار القياسي يخلق إحساسًا خادعًا بالنجاح — مثل طبّاخٍ حفظ قائمة الطعام عن ظهر قلب، لكنه لا يستطيع طهي شيء جديد.
بإنشاء كتالوج من المحاكاة الحاسوبية للانفجارات بمواد مختلفة، أجرى الباحثون اختبارًا عاديًا: خلطوا البيانات وأخفوا جزءًا منها — بلغت الدقة 70%. لكن بمجرد استبعاد فئة كاملة من المادة، فشل البرنامج: أصبحت التنبؤات أسوأ من التخمين العشوائي. كانت الخوارزمية تحفظ ليس الفيزياء، بل الأشكال المحددة للموجة.
عندما بُسّطت المهمة إلى تحديد كتلة النجم السلف، تعلم البرنامج التعميم. هذا تحذير للكواشف المستقبلية: هناك حاجة لاختبارات على نماذج لم تُرَ من قبل. وإلا ستبقى الخوارزمية الذكية طبّاخًا مدرّبًا، غير قادر على الارتجال.
حتى العوامل المتطابقة تقريبًا كانت تربك البرنامج بسبب عوامل ثانوية — مثل دوران النجم.