مخطط القلب ليس مجرد خط متموج على الورق. فيه، كما في مذكرات شخصية، تُسجَّل حالة القلب بأكملها: النظم، وسماكة الجدران، وإشارات إلى مشاكل مستقبلية. لكن البرامج التي تتعلم قراءة هذه المذكرات تُدرَّب حاليًا على مهام ضيقة جدًا — بشكل أساسي على البحث عن اضطرابات النظم. هذا مثل تعليم شخص فهم كتاب من خلال إظهار قائمة الأخطاء المطبعية فقط.
قرر مؤلفو الدراسة التحقق من مدى إنصاف تقييم هذه البرامج. أخذوا خمسة أساليب شائعة للتعلم واختبروها عبر ستة امتحانات مختلفة: ثلاثة قياسية (تلك التي تبحث عن اضطرابات النظم)، وثلاثة جديدة — البحث عن أمراض القلب الهيكلية، وتقييم الضغط داخل القلب، والتنبؤ بحالة المريض في المستقبل. اتضح أن الجميع يظهرون نتائج جيدة في الامتحانات القديمة، لكن الصورة تتغير في الجديدة. علاوة على ذلك، تبين أن مجموعة أرقام عشوائية لم تتعلم إطلاقًا، تؤدي في العديد من المهام أداءً لا يقل عن الخوارزميات المدربة. هذا مثل شخص لا يعرف اللغة يخمن معنى كتاب من غلافه — ويصيب في كثير من الأحيان مثل الخبير.
ما الذي يقترحه المؤلفون؟ أولاً، توسيع قائمة المهام: إضافة البحث عن التغيرات الهيكلية في القلب (مثل سماكة الجدران) والتنبؤ بما سيحدث للمريض مع مرور الوقت. ثانيًا، مقارنة النتيجة دائمًا مع "متعلم" عشوائي بسيط. إذا لم تتفوق البرامج الذكية على المجموعة الفارغة، فإن نجاحها لا يعني شيئًا. هذا مثل الرياضة: لا يُحتسب الرقم القياسي إلا إذا تم كسر نتيجة مبتدئ.
هذا النهج قد يغير المجال بأكمله: بدلاً من السباق وراء أرقام جميلة في اختبارات ضيقة، سيبدأ العلماء في حل المشكلات المهمة حقًا للأطباء والمرضى. مخطط القلب مصدر معلومات ثمين جدًا لإهداره في تخمين الأخطاء المطبعية.
مجموعة أرقام عشوائية لم ترَ أي مخطط قلب على الإطلاق، تظهر في بعض المهام الطبية نتائج لا تقل عن الخوارزميات المدربة على آلاف التسجيلات.