Un météorologue annonce chaque jour correctement s'il va pleuvoir, mais quand il promet « 70 % de précipitations », en réalité il ne pleut que dans 30 % des cas. Ses prévisions sont utiles, mais on ne peut pas se fier aux chiffres. Il en va de même pour les modèles qui prédisent la survie au cancer à partir d'images de tissus et de données génétiques.

Les chercheurs ont testé 14 de ces modèles sur des données de cinq types de cancer. Les modèles ont été comparés à une référence : si le modèle dit « probabilité de survivre un an : 60 % », alors parmi les patients similaires, environ 60 % devraient effectivement survivre un an. Il s'est avéré que la plupart des modèles se trompent systématiquement dans les probabilités, bien qu'ils classent bien les patients par risque. Par exemple, un modèle classait correctement les patients par groupes de risque, mais ses probabilités étaient fausses dans les cinq vérifications.

La bonne nouvelle : une simple correction mathématique, appliquée après l'entraînement du modèle, améliore nettement le calibrage. Le modèle commence à donner des probabilités plus honnêtes sans perdre en précision. Cela signifie que de telles prédictions peuvent être rendues plus fiables pour une utilisation clinique.

Le météorologue de la première phrase pourrait calibrer ses pourcentages en regardant les statistiques de ses prévisions passées. Les modèles de cancer apprennent la même chose — et c'est un pas vers une confiance des médecins non seulement dans l'ordre des patients sur la liste de risque, mais aussi dans les chiffres eux-mêmes.