main concepts scientists sections
ПростоПопулярноПодробно

Карта без компаса: почему медицинские модели путают лево и право ✛

Оригинал: "Do Medical Vision Models Reason About Anatomy? Probing the Spatial Inductive Biases of Learned Visual Representations"
· Naren Akash, Neeraja Ramanan
arXiv:2608.28092v1 · 2026-08-28 · CC BY-SA 4.0 · 2 мин
Обработка изображений Искусственный интеллект Компьютерное зрение Машинное обучение
Модели запомнили, где органы обычно лежат, но не умеют сравнивать их у конкретного пациента.

Радиолог смотрит на снимок брюшной полости и видит не просто органы, а их взаимное расположение: какая почка больше, где опухоль относительно сосуда. Это похоже на чтение карты, где важно не только знать, где обычно стоит город, но и уметь измерить расстояние между двумя точками на местности. Учёные из IIIT Hyderabad и AIG Hospitals построили SPAR-Bench — восемь проб, которые проверяют, способны ли медицинские модели зрения на такое рассуждение. Оказалось, что модели отлично отвечают на вопросы о типичном положении органов, но как только задача требует сравнения в конкретном снимке — например, какая почка крупнее — точность падает до случайного угадывания.

В основе SPAR-Bench лежит набор WORD — 150 КТ брюшной полости с разметкой 16 органов. Из срезов вырезали плитки с отдельными органами, убрали контекст и собрали три уровня задач. Первый уровень — локализация: модель должна предсказать координаты центра органа. Второй — восстановление порядка: плитки перемешивают, и модель должна вернуть их на места. Третий — шесть типов вопросов по целому срезу: слева ли печень от селезёнки, повёрнут ли снимок, какая почка больше, какую долю площади занимает орган, какое расстояние больше и сколько опухолей видно.

Главный результат — двусторонняя симметрия осталась на уровне случайного угадывания во всех 13 конфигурациях. Точность не превысила 36% при шансе 33%. В то же время относительное положение органов внутри набора WORD достигало 99%, но при переносе на внешние данные падало до 50–70%, а у одной модели — до 50.03±0.04, что неотличимо от случайности. Это значит, что высокие оценки отражали запоминание типичной анатомии, а не вычисление по снимку.

Итог возвращает нас к карте без компаса. Модель помнит, где органы обычно находятся, как ученик, выучивший атлас, но не умеет измерить расстояние между двумя точками на конкретном снимке. Это открытие меняет правила оценки медицинских моделей: вместо конечного диагноза нужно проверять промежуточные пространственные суждения, которые и составляют настоящую работу радиолога.

Весь граф →

В наборе WORD 150 КТ, но для подсчёта опухолей использовали всего 20 томов с разметкой из LiTS — редкий случай, когда задача усложняется нехваткой данных, а не их избытком.

Понятия
компьютерная томография сегментация медицинских изображений анализ медицинских изображений сканирование мозга нейронные сети в пространственном картировании сегментация опухолей магнитно-резонансный томограф фантом компьютерное зрение пространственное разрешение зрительная кора томограф медицина теменная область размеченные данные матрица ошибок метод опорных векторов языковая модель белков система отсчёта самонаблюдаемое обучение