Un meteorólogo acierta cada día si lloverá, pero cuando promete un «70% de precipitaciones», en realidad solo llueve en el 30% de los casos. Sus pronósticos son útiles, pero no se puede confiar en los números. Lo mismo ocurre con los modelos que predicen la supervivencia al cáncer a partir de imágenes de tejidos y datos genéticos.
Los investigadores probaron 14 de estos modelos con datos de cinco tipos de cáncer. Los compararon con un estándar: si el modelo dice «probabilidad de vivir un año: 60%», entonces entre pacientes similares, aproximadamente el 60% debería vivir un año. Resultó que la mayoría de los modelos se equivocan sistemáticamente en las probabilidades, aunque clasifican bien a los pacientes por riesgo. Por ejemplo, un modelo ordenaba correctamente a los pacientes en grupos de riesgo, pero sus probabilidades eran incorrectas en las cinco pruebas.
La buena noticia: un ajuste matemático simple, aplicado después de entrenar el modelo, mejora notablemente la calibración. El modelo comienza a dar probabilidades más honestas sin perder precisión. Esto significa que estos pronósticos pueden hacerse más fiables para el uso clínico.
El meteorólogo de la primera frase podría calibrar sus porcentajes mirando las estadísticas de pronósticos pasados. Los modelos de cáncer aprenden lo mismo, y es un paso para que los médicos confíen no solo en el orden de los pacientes en la lista de riesgo, sino también en los números mismos.
Para evaluar la calidad de los pronósticos probabilísticos se usa una gráfica donde un modelo ideal produce una línea recta a 45 grados. Si la línea se desvía, significa que el modelo sobreestima o subestima las probabilidades de manera sistemática.