Как проверить предсказатель, не зная ответа ✎ экспресс

Оригинал: "CaliPPer: quantifying, predicting and improving AI model performance for binding prediction"
arXiv:2606.07258 · 2026-06-05 · arXiv non-exclusive · собственный разбор · 1 мин
Новый инструмент оценивает надёжность моделей для поиска лекарств ещё до экспериментов.

📄 Показана версия «Просто» — «Подробно» пока не готова. Добавьте ★ в избранное, если хотите её ускорить.

Лаборатория отправляет роботу список из тысячи молекул-кандидатов для нового лекарства. Робот-предсказатель, натренированный на старых данных, выдаёт для каждой оценку «подойдёт — не подойдёт». Но когда список приходит из незнакомой области — другого вируса или редкой опухоли — робот начинает путаться. Его уверенность остаётся высокой, а реальные попадания падают до нуля.

Модель ведёт себя как переводчик с русского на английский, которому дали текст на суахили: он продолжает переводить, но смысл теряется.

Инструмент CaliPPer решает эту проблему без единого проверочного ответа. Он измеряет, насколько далеко новый образец ушёл от знакомых учебных примеров — примерно как навигатор оценивает, насколько вы отклонились от известных дорог. Для каждой молекулы вычисляется «расстояние до своих» (S2DD), и на его основе модель честно говорит: «В этом районе я ориентируюсь плохо, моим оценкам лучше не верить».

На десяти разных моделях, предсказывающих связывание иммунных клеток с мишенями, CaliPPer показал корреляцию между расстоянием и реальной точностью на уровне 0.80–0.92 (где 1 — идеальное совпадение). Ошибка в оценке качества упала до 0.008–0.070. В пяти реальных исследованиях, где обычные модели не нашли ни одной рабочей молекулы (0 из 5), пересчёт уверенности позволил подтвердить 3 из 5 — просто за счёт того, что ложные фавориты были понижены, а скромные, но надёжные кандидаты поднялись в рейтинге.

Это не замена эксперименту, а умный фильтр между компьютером и пробиркой. Вместо того чтобы тратить недели на проверку сотен пустышек, биолог получает короткий список с честной оценкой шансов.

Расстояние до обучающих данных (S2DD) работает как «чужеродность»: если новая молекула сильно отличается от всего, что модель видела раньше, её предсказание почти наверняка ошибочно, даже если модель в нём уверена.

Учёные
Erwin SchrödingerHugh Everett III
Понятия
открытие лекарств с помощью ИИ открытие лекарств предсказание молекулярных свойств размеченные данные классификатор эталон прогностическая модель подгонка параметров предсказание доверительный интервал калибровка информационный критерий байесовский вывод самокоррекция ИИ CRISPR аффинность связывания перекрёстная проверка параметр диагностическая точность нейронные сети прогностического обучения