Un météorologue annonce chaque jour correctement s'il va pleuvoir, mais quand il promet « 70 % de précipitations », en réalité il ne pleut que dans 30 % des cas. Ses prévisions sont utiles, mais on ne peut pas se fier aux chiffres. Il en va de même pour les modèles qui prédisent la survie au cancer à partir d'images de tissus et de données génétiques.
Les chercheurs ont testé 14 de ces modèles sur des données de cinq types de cancer. Les modèles ont été comparés à une référence : si le modèle dit « probabilité de survivre un an : 60 % », alors parmi les patients similaires, environ 60 % devraient effectivement survivre un an. Il s'est avéré que la plupart des modèles se trompent systématiquement dans les probabilités, bien qu'ils classent bien les patients par risque. Par exemple, un modèle classait correctement les patients par groupes de risque, mais ses probabilités étaient fausses dans les cinq vérifications.
La bonne nouvelle : une simple correction mathématique, appliquée après l'entraînement du modèle, améliore nettement le calibrage. Le modèle commence à donner des probabilités plus honnêtes sans perdre en précision. Cela signifie que de telles prédictions peuvent être rendues plus fiables pour une utilisation clinique.
Le météorologue de la première phrase pourrait calibrer ses pourcentages en regardant les statistiques de ses prévisions passées. Les modèles de cancer apprennent la même chose — et c'est un pas vers une confiance des médecins non seulement dans l'ordre des patients sur la liste de risque, mais aussi dans les chiffres eux-mêmes.
tel que rédigé par les auteurs, en anglais arXiv:2604.04239
Multimodal deep learning models that fuse whole-slide histopathology images with genomic data have achieved strong discriminative performance for cancer survival prediction, as measured by the concordance index. Yet whether the survival probabilities derived from these models - either directly from native outputs or via standard post-hoc reconstruction - are calibrated remains largely unexamined. We conduct, to our knowledge, the first systematic fold-level 1-calibration audit of multimodal WSI-genomics survival architectures, evaluating native discrete-time survival outputs (Experiment A: 3 models on TCGA-BRCA) and Breslow-reconstructed survival curves from scalar risk scores (Experiment B: 11 architectures across 5 TCGA cancer types). In Experiment A, all three models fail 1-calibration on a majority of folds (12 of 15 fold-level tests reject after Benjamini-Hochberg correction). Across the full 290 fold-level tests, 166 reject the null of correct calibration at the median event time after Benjamini-Hochberg correction (FDR = 0.05). MCAT achieves C-index 0.817 on GBMLGG yet fails 1-calibration on all five folds. Gating-based fusion is associated with better calibration; bilinear and concatenation fusion are not. Post-hoc Platt scaling reduces miscalibration at the evaluated horizon (e.g., MCAT: 5/5 folds failing to 2/5) without affecting discrimination. The concordance index alone is insufficient for evaluating survival models intended for clinical use.
Pour évaluer la qualité des prévisions probabilistes, on utilise un graphique où un modèle idéal donne une ligne droite à 45 degrés. Si la ligne s'écarte, cela signifie que le modèle surestime ou sous-estime systématiquement les probabilités.