خبير الأرصاد الجوية يقول كل يوم بشكل صحيح ما إذا كانت السماء ستمطر، لكن عندما يعد بـ«70% من الأمطار»، فإن المطر يهطل فعليًا في 30% فقط من الحالات. توقعاته مفيدة، لكن لا يمكن الوثوق بالأرقام. نفس الشيء يحدث مع النماذج التي تتنبأ بالبقاء على قيد الحياة لدى مرضى السرطان بناءً على صور الأنسجة والبيانات الجينية.
اختبر الباحثون 14 نموذجًا من هذه النماذج على بيانات خمسة أنواع من السرطان. قورنت النماذج بمعيار: إذا قال النموذج «احتمال البقاء على قيد الحياة لمدة عام هو 60%»، فمن بين المرضى المتشابهين يجب أن يبقى حوالي 60% منهم على قيد الحياة فعليًا لمدة عام. وتبين أن معظم النماذج تخطئ بشكل منهجي في الاحتمالات، رغم أنها تصنف المرضى جيدًا حسب المخاطر. على سبيل المثال، قام أحد النماذج بترتيب المرضى بشكل صحيح في مجموعات المخاطر، لكن احتمالاته كانت غير صحيحة في جميع الاختبارات الخمسة.
الخبر الجيد: تصحيح رياضي بسيط، يُطبق بعد تدريب النموذج، يحسن المعايرة بشكل ملحوظ. يبدأ النموذج في إعطاء احتمالات أكثر صدقًا دون فقدان الدقة. وهذا يعني أن مثل هذه التوقعات يمكن جعلها أكثر موثوقية للاستخدام السريري.
خبير الأرصاد من الجملة الأولى كان يمكنه معايرة نسبه من خلال النظر في إحصائيات التوقعات السابقة. نماذج السرطان تتعلم نفس الشيء — وهذه خطوة نحو أن يتمكن الأطباء من الثقة ليس فقط في ترتيب المرضى في قائمة المخاطر، ولكن أيضًا في الأرقام نفسها.
كما كتبه المؤلفون، بالإنجليزية arXiv:2604.04239
Multimodal deep learning models that fuse whole-slide histopathology images with genomic data have achieved strong discriminative performance for cancer survival prediction, as measured by the concordance index. Yet whether the survival probabilities derived from these models - either directly from native outputs or via standard post-hoc reconstruction - are calibrated remains largely unexamined. We conduct, to our knowledge, the first systematic fold-level 1-calibration audit of multimodal WSI-genomics survival architectures, evaluating native discrete-time survival outputs (Experiment A: 3 models on TCGA-BRCA) and Breslow-reconstructed survival curves from scalar risk scores (Experiment B: 11 architectures across 5 TCGA cancer types). In Experiment A, all three models fail 1-calibration on a majority of folds (12 of 15 fold-level tests reject after Benjamini-Hochberg correction). Across the full 290 fold-level tests, 166 reject the null of correct calibration at the median event time after Benjamini-Hochberg correction (FDR = 0.05). MCAT achieves C-index 0.817 on GBMLGG yet fails 1-calibration on all five folds. Gating-based fusion is associated with better calibration; bilinear and concatenation fusion are not. Post-hoc Platt scaling reduces miscalibration at the evaluated horizon (e.g., MCAT: 5/5 folds failing to 2/5) without affecting discrimination. The concordance index alone is insufficient for evaluating survival models intended for clinical use.
لتقييم جودة التوقعات الاحتمالية، يُستخدم رسم بياني حيث يعطي النموذج المثالي خطًا مستقيمًا بزاوية 45 درجة. إذا انحرف الخط، فهذا يعني أن النموذج يبالغ في تقدير الاحتمالات أو يقللها بشكل منهجي.