Un radiólogo mira una tomografía abdominal y no ve solo órganos, sino su disposición mutua: qué riñón es más grande, dónde está el tumor respecto al vaso. Es como leer un mapa, donde no basta con saber dónde suele estar una ciudad, sino que hay que poder medir la distancia entre dos puntos del terreno. Investigadores de IIIT Hyderabad y AIG Hospitals construyeron SPAR-Bench, ocho pruebas que verifican si los modelos médicos de visión pueden razonar de esta manera. Resultó que los modelos responden muy bien a preguntas sobre la posición típica de los órganos, pero en cuanto la tarea exige comparar en una imagen concreta, por ejemplo, qué riñón es más grande, la precisión cae al nivel del azar.
En la base de SPAR-Bench está el conjunto WORD, con 150 tomografías abdominales y la segmentación de 16 órganos. De los cortes se extrajeron parches con órganos individuales, se eliminó el contexto y se organizaron tres niveles de tareas. El primer nivel es la localización: el modelo debe predecir las coordenadas del centro del órgano. El segundo es la reconstrucción del orden: los parches se mezclan y el modelo debe devolverlos a su lugar. El tercero incluye seis tipos de preguntas sobre un corte completo: si el hígado está a la izquierda del bazo, si la imagen está rotada, qué riñón es más grande, qué fracción del área ocupa un órgano, qué distancia es mayor y cuántos tumores se ven.
El resultado principal: la simetría bilateral quedó en el nivel del azar en las 13 configuraciones, tanto al transferir a datos externos como en los modelos multimodales. La precisión no superó el 36% con una probabilidad de acierto del 33%. En cambio, la posición relativa de los órganos dentro del conjunto WORD alcanzó el 99%, pero al transferir a TotalSegmentator cayó al 50–70%, y en un modelo hasta 50.03±0.04, indistinguible del azar. Esto significa que las puntuaciones altas reflejaban la memorización de la anatomía típica, no el cálculo a partir de la imagen.
Otro hallazgo: la forma de leer las características cambia las conclusiones. BiomedCLIP congelado con cabeza MLP reconstruía el orden de los parches solo en el 0.7% de los casos, mientras que con cabeza Transformer sobre las mismas características, en el 67.8%. Es decir, el pooling oculta información que sí está en los tokens. El ajuste fino de RadDINO mejoró la reconstrucción del orden (del 22% al 69% con MLP), pero empeoró la localización (de 9.88 a 11.46 píxeles de error), mostrando un intercambio entre capacidades. Los modelos multimodales respondieron al nivel del azar en preguntas que los codificadores resolvían casi perfectamente, y viceversa: en cuanto al tamaño del órgano, la diferencia entre ellos fue de 75 puntos porcentuales.
El resultado nos devuelve al mapa sin brújula. El modelo recuerda dónde suelen estar los órganos, como un estudiante que se ha aprendido el atlas, pero no sabe medir la distancia entre dos puntos en una imagen concreta. Este hallazgo cambia las reglas de evaluación de los modelos médicos: en lugar del diagnóstico final, hay que comprobar los juicios espaciales intermedios, que son los que constituyen el verdadero trabajo del radiólogo.
El conjunto WORD tiene 150 tomografías, pero para contar tumores se usaron solo 20 volúmenes con anotaciones de LiTS: un caso raro en el que la tarea se complica por la falta de datos, no por su exceso.