Синоптик каждый день верно говорит, будет ли дождь, но когда он обещает «70% осадков», на самом деле дождь идёт лишь в 30% случаев. Его прогнозы полезны, но цифрам доверять нельзя. То же самое происходит с моделями, которые предсказывают выживаемость при раке по снимкам тканей и генетическим данным.
Исследователи проверили 14 таких моделей на данных пяти видов рака. Модели сравнивали с эталоном: если модель говорит «вероятность прожить год — 60%», то среди похожих пациентов примерно 60% действительно должны прожить год. Оказалось, что большинство моделей систематически ошибаются в вероятностях, хотя и хорошо разделяют пациентов по риску. Например, одна модель правильно расставляла пациентов по группам риска, но её вероятности были неверны во всех пяти проверках.
Хорошая новость: простая математическая поправка, которую применяют уже после обучения модели, заметно улучшает калибровку. Модель начинает давать более честные вероятности, не теряя в точности. Это значит, что такие прогнозы можно сделать надёжнее для клинического использования.
Синоптик из первой фразы мог бы откалибровать свои проценты, глядя на статистику прошлых прогнозов. Модели рака учатся тому же — и это шаг к тому, чтобы врачи могли доверять не только порядку пациентов в списке риска, но и самим числам.
как её написали авторы, на английском arXiv:2604.04239
Multimodal deep learning models that fuse whole-slide histopathology images with genomic data have achieved strong discriminative performance for cancer survival prediction, as measured by the concordance index. Yet whether the survival probabilities derived from these models - either directly from native outputs or via standard post-hoc reconstruction - are calibrated remains largely unexamined. We conduct, to our knowledge, the first systematic fold-level 1-calibration audit of multimodal WSI-genomics survival architectures, evaluating native discrete-time survival outputs (Experiment A: 3 models on TCGA-BRCA) and Breslow-reconstructed survival curves from scalar risk scores (Experiment B: 11 architectures across 5 TCGA cancer types). In Experiment A, all three models fail 1-calibration on a majority of folds (12 of 15 fold-level tests reject after Benjamini-Hochberg correction). Across the full 290 fold-level tests, 166 reject the null of correct calibration at the median event time after Benjamini-Hochberg correction (FDR = 0.05). MCAT achieves C-index 0.817 on GBMLGG yet fails 1-calibration on all five folds. Gating-based fusion is associated with better calibration; bilinear and concatenation fusion are not. Post-hoc Platt scaling reduces miscalibration at the evaluated horizon (e.g., MCAT: 5/5 folds failing to 2/5) without affecting discrimination. The concordance index alone is insufficient for evaluating survival models intended for clinical use.
Для оценки качества вероятностных прогнозов используют график, где идеальная модель даёт прямую линию под 45 градусов. Если линия отклоняется, значит, модель систематически завышает или занижает вероятности.