Анатомия без компаса: как медицинские модели видят пространство ✛

Радиолог смотрит на снимок брюшной полости и видит не просто органы, а их взаимное расположение: какая почка больше, где опухоль относительно сосуда. Это похоже на чтение карты, где важно не только знать, где обычно стоит город, но и уметь измерить расстояние между двумя точками на местности. Учёные из IIIT Hyderabad и AIG Hospitals построили SPAR-Bench — восемь проб, которые проверяют, способны ли медицинские модели зрения на такое рассуждение. Оказалось, что модели отлично отвечают на вопросы о типичном положении органов, но как только задача требует сравнения в конкретном снимке — например, какая почка крупнее — точность падает до случайного угадывания.

В основе SPAR-Bench лежит набор WORD — 150 КТ брюшной полости с разметкой 16 органов. Из срезов вырезали плитки с отдельными органами, убрали контекст и собрали три уровня задач. Первый уровень — локализация: модель должна предсказать координаты центра органа. Второй — восстановление порядка: плитки перемешивают, и модель должна вернуть их на места. Третий — шесть типов вопросов по целому срезу: слева ли печень от селезёнки, повёрнут ли снимок, какая почка больше, какую долю площади занимает орган, какое расстояние больше и сколько опухолей видно.

Главный результат — двусторонняя симметрия осталась на уровне случайного угадывания во всех 13 конфигурациях, при переносе на внешние данные и у мультимодальных моделей. Точность не превысила 36% при шансе 33%. В то же время относительное положение органов внутри набора WORD достигало 99%, но при переносе на TotalSegmentator падало до 50–70%, а у одной модели — до 50.03±0.04, что неотличимо от случайности. Это значит, что высокие оценки отражали запоминание типичной анатомии, а не вычисление по снимку.

Ещё одно открытие: способ чтения признаков меняет выводы. Замороженный BiomedCLIP с MLP-головой восстанавливал порядок плиток лишь в 0.7% случаев, а с Transformer-головой на тех же признаках — в 67.8%. То есть пулинг скрывает информацию, которая есть в токенах. Дообучение RadDINO улучшило восстановление порядка (с 22% до 69% у MLP), но ухудшило локализацию (с 9.88 до 11.46 пикселей ошибки), показав обмен между способностями. Мультимодальные модели отвечали на уровне случайности на вопросы, которые кодировщики решали почти идеально, и наоборот — по размеру органа разброс между ними составил 75 процентных пунктов.

Итог возвращает нас к карте без компаса. Модель помнит, где органы обычно находятся, как ученик, выучивший атлас, но не умеет измерить расстояние между двумя точками на конкретном снимке. Это открытие меняет правила оценки медицинских моделей: вместо конечного диагноза нужно проверять промежуточные пространственные суждения, которые и составляют настоящую работу радиолога.