خبير الأرصاد الجوية يقول كل يوم بشكل صحيح ما إذا كانت السماء ستمطر، لكن عندما يعد بـ«70% من الأمطار»، فإن المطر يهطل فعليًا في 30% فقط من الحالات. توقعاته مفيدة، لكن لا يمكن الوثوق بالأرقام. نفس الشيء يحدث مع النماذج التي تتنبأ بالبقاء على قيد الحياة لدى مرضى السرطان بناءً على صور الأنسجة والبيانات الجينية.
اختبر الباحثون 14 نموذجًا من هذه النماذج على بيانات خمسة أنواع من السرطان. قورنت النماذج بمعيار: إذا قال النموذج «احتمال البقاء على قيد الحياة لمدة عام هو 60%»، فمن بين المرضى المتشابهين يجب أن يبقى حوالي 60% منهم على قيد الحياة فعليًا لمدة عام. وتبين أن معظم النماذج تخطئ بشكل منهجي في الاحتمالات، رغم أنها تصنف المرضى جيدًا حسب المخاطر. على سبيل المثال، قام أحد النماذج بترتيب المرضى بشكل صحيح في مجموعات المخاطر، لكن احتمالاته كانت غير صحيحة في جميع الاختبارات الخمسة.
الخبر الجيد: تصحيح رياضي بسيط، يُطبق بعد تدريب النموذج، يحسن المعايرة بشكل ملحوظ. يبدأ النموذج في إعطاء احتمالات أكثر صدقًا دون فقدان الدقة. وهذا يعني أن مثل هذه التوقعات يمكن جعلها أكثر موثوقية للاستخدام السريري.
خبير الأرصاد من الجملة الأولى كان يمكنه معايرة نسبه من خلال النظر في إحصائيات التوقعات السابقة. نماذج السرطان تتعلم نفس الشيء — وهذه خطوة نحو أن يتمكن الأطباء من الثقة ليس فقط في ترتيب المرضى في قائمة المخاطر، ولكن أيضًا في الأرقام نفسها.
لتقييم جودة التوقعات الاحتمالية، يُستخدم رسم بياني حيث يعطي النموذج المثالي خطًا مستقيمًا بزاوية 45 درجة. إذا انحرف الخط، فهذا يعني أن النموذج يبالغ في تقدير الاحتمالات أو يقللها بشكل منهجي.