Anatomía sin brújula: cómo los modelos médicos ven el espacio ✛

Original: "Do Medical Vision Models Reason About Anatomy? Probing the Spatial Inductive Biases of Learned Visual Representations"
· Naren Akash, Neeraja Ramanan
arXiv:2608.28092v1 · 2026-08-28 · CC BY-SA 4.0 · 4 min
Los codificadores médicos recuerdan dónde suelen estar los órganos, pero no saben compararlos en un paciente concreto.

Un radiólogo mira una tomografía abdominal y no ve solo órganos, sino su disposición mutua: qué riñón es más grande, dónde está el tumor respecto al vaso. Es como leer un mapa, donde no basta con saber dónde suele estar una ciudad, sino que hay que poder medir la distancia entre dos puntos del terreno. Investigadores de IIIT Hyderabad y AIG Hospitals construyeron SPAR-Bench, ocho pruebas que verifican si los modelos médicos de visión pueden razonar de esta manera. Resultó que los modelos responden muy bien a preguntas sobre la posición típica de los órganos, pero en cuanto la tarea exige comparar en una imagen concreta, por ejemplo, qué riñón es más grande, la precisión cae al nivel del azar.

En la base de SPAR-Bench está el conjunto WORD, con 150 tomografías abdominales y la segmentación de 16 órganos. De los cortes se extrajeron parches con órganos individuales, se eliminó el contexto y se organizaron tres niveles de tareas. El primer nivel es la localización: el modelo debe predecir las coordenadas del centro del órgano. El segundo es la reconstrucción del orden: los parches se mezclan y el modelo debe devolverlos a su lugar. El tercero incluye seis tipos de preguntas sobre un corte completo: si el hígado está a la izquierda del bazo, si la imagen está rotada, qué riñón es más grande, qué fracción del área ocupa un órgano, qué distancia es mayor y cuántos tumores se ven.

Se probaron cinco configuraciones: ResNet-50 y ViT-B/32 con cabeza MLP o Transformer, además de una variante combinada, junto con tres modelos médicos de base: RadDINO, BiomedCLIP y SAM-Med2D, tanto congelados como ajustados. Para controlar las respuestas aprendidas, parte de las preguntas se plantearon sobre cortes reflejados, y luego todos los modelos se evaluaron en el conjunto externo TotalSegmentator y se compararon con cuatro modelos multimodales abiertos.

El resultado principal: la simetría bilateral quedó en el nivel del azar en las 13 configuraciones, tanto al transferir a datos externos como en los modelos multimodales. La precisión no superó el 36% con una probabilidad de acierto del 33%. En cambio, la posición relativa de los órganos dentro del conjunto WORD alcanzó el 99%, pero al transferir a TotalSegmentator cayó al 50–70%, y en un modelo hasta 50.03±0.04, indistinguible del azar. Esto significa que las puntuaciones altas reflejaban la memorización de la anatomía típica, no el cálculo a partir de la imagen.

Otro hallazgo: la forma de leer las características cambia las conclusiones. BiomedCLIP congelado con cabeza MLP reconstruía el orden de los parches solo en el 0.7% de los casos, mientras que con cabeza Transformer sobre las mismas características, en el 67.8%. Es decir, el pooling oculta información que sí está en los tokens. El ajuste fino de RadDINO mejoró la reconstrucción del orden (del 22% al 69% con MLP), pero empeoró la localización (de 9.88 a 11.46 píxeles de error), mostrando un intercambio entre capacidades. Los modelos multimodales respondieron al nivel del azar en preguntas que los codificadores resolvían casi perfectamente, y viceversa: en cuanto al tamaño del órgano, la diferencia entre ellos fue de 75 puntos porcentuales.

Este trabajo se distingue de los vecinos: estos evalúan o el diagnóstico final o la conservación de las características, mientras que aquí se examina el razonamiento espacial funcional en un codificador aislado. Es el primer intento de separar el "conocimiento del mapa" de la "habilidad para medir sobre el terreno". La conclusión de que el pooling oculta información relacional cambia las reglas de lectura de las puntuaciones de los modelos congelados: una puntuación baja con cabeza MLP no significa ausencia de capacidad. Y el fracaso en la simetría indica una brecha fundamental: los modelos no comparan estructuras pareadas, algo crítico para el cribado, por ejemplo, de la estenosis de la arteria renal.

El resultado nos devuelve al mapa sin brújula. El modelo recuerda dónde suelen estar los órganos, como un estudiante que se ha aprendido el atlas, pero no sabe medir la distancia entre dos puntos en una imagen concreta. Este hallazgo cambia las reglas de evaluación de los modelos médicos: en lugar del diagnóstico final, hay que comprobar los juicios espaciales intermedios, que son los que constituyen el verdadero trabajo del radiólogo.

El conjunto WORD tiene 150 tomografías, pero para contar tumores se usaron solo 20 volúmenes con anotaciones de LiTS: un caso raro en el que la tarea se complica por la falta de datos, no por su exceso.

Conceptos
tomografía computarizada segmentación de imágenes médicas análisis de imágenes médicas escaneo cerebral redes neuronales en mapeo espacial segmentación de tumores máquina de resonancia magnética fantasma visión artificial resolución espacial corteza visual tomógrafo medicina región parietal datos etiquetados matriz de confusión máquina de vectores de soporte modelo de lenguaje de proteínas marco aprendizaje autosupervisado