Un meteorólogo acierta cada día si lloverá, pero cuando promete un «70% de precipitaciones», en realidad solo llueve en el 30% de los casos. Sus pronósticos son útiles, pero no se puede confiar en los números. Lo mismo ocurre con los modelos que predicen la supervivencia al cáncer a partir de imágenes de tejidos y datos genéticos.
Los investigadores probaron 14 de estos modelos con datos de cinco tipos de cáncer. Los compararon con un estándar: si el modelo dice «probabilidad de vivir un año: 60%», entonces entre pacientes similares, aproximadamente el 60% debería vivir un año. Resultó que la mayoría de los modelos se equivocan sistemáticamente en las probabilidades, aunque clasifican bien a los pacientes por riesgo. Por ejemplo, un modelo ordenaba correctamente a los pacientes en grupos de riesgo, pero sus probabilidades eran incorrectas en las cinco pruebas.
La buena noticia: un ajuste matemático simple, aplicado después de entrenar el modelo, mejora notablemente la calibración. El modelo comienza a dar probabilidades más honestas sin perder precisión. Esto significa que estos pronósticos pueden hacerse más fiables para el uso clínico.
El meteorólogo de la primera frase podría calibrar sus porcentajes mirando las estadísticas de pronósticos pasados. Los modelos de cáncer aprenden lo mismo, y es un paso para que los médicos confíen no solo en el orden de los pacientes en la lista de riesgo, sino también en los números mismos.
tal como lo escribieron los autores, en inglés arXiv:2604.04239
Multimodal deep learning models that fuse whole-slide histopathology images with genomic data have achieved strong discriminative performance for cancer survival prediction, as measured by the concordance index. Yet whether the survival probabilities derived from these models - either directly from native outputs or via standard post-hoc reconstruction - are calibrated remains largely unexamined. We conduct, to our knowledge, the first systematic fold-level 1-calibration audit of multimodal WSI-genomics survival architectures, evaluating native discrete-time survival outputs (Experiment A: 3 models on TCGA-BRCA) and Breslow-reconstructed survival curves from scalar risk scores (Experiment B: 11 architectures across 5 TCGA cancer types). In Experiment A, all three models fail 1-calibration on a majority of folds (12 of 15 fold-level tests reject after Benjamini-Hochberg correction). Across the full 290 fold-level tests, 166 reject the null of correct calibration at the median event time after Benjamini-Hochberg correction (FDR = 0.05). MCAT achieves C-index 0.817 on GBMLGG yet fails 1-calibration on all five folds. Gating-based fusion is associated with better calibration; bilinear and concatenation fusion are not. Post-hoc Platt scaling reduces miscalibration at the evaluated horizon (e.g., MCAT: 5/5 folds failing to 2/5) without affecting discrimination. The concordance index alone is insufficient for evaluating survival models intended for clinical use.
Para evaluar la calidad de los pronósticos probabilísticos se usa una gráfica donde un modelo ideal produce una línea recta a 45 grados. Si la línea se desvía, significa que el modelo sobreestima o subestima las probabilidades de manera sistemática.