Синоптик каждый день верно говорит, будет ли дождь, но когда он обещает «70% осадков», на самом деле дождь идёт лишь в 30% случаев. Его прогнозы полезны, но цифрам доверять нельзя. То же самое происходит с моделями, которые предсказывают выживаемость при раке по снимкам тканей и генетическим данным.

Исследователи проверили 14 таких моделей на данных пяти видов рака. Модели сравнивали с эталоном: если модель говорит «вероятность прожить год — 60%», то среди похожих пациентов примерно 60% действительно должны прожить год. Оказалось, что большинство моделей систематически ошибаются в вероятностях, хотя и хорошо разделяют пациентов по риску. Например, одна модель правильно расставляла пациентов по группам риска, но её вероятности были неверны во всех пяти проверках.

Хорошая новость: простая математическая поправка, которую применяют уже после обучения модели, заметно улучшает калибровку. Модель начинает давать более честные вероятности, не теряя в точности. Это значит, что такие прогнозы можно сделать надёжнее для клинического использования.

Синоптик из первой фразы мог бы откалибровать свои проценты, глядя на статистику прошлых прогнозов. Модели рака учатся тому же — и это шаг к тому, чтобы врачи могли доверять не только порядку пациентов в списке риска, но и самим числам.