El radiólogo mira la imagen de la cavidad abdominal y no ve solo órganos, sino su disposición mutua: qué riñón es más grande, dónde está el tumor respecto al vaso. Es como leer un mapa, donde no basta con saber dónde suele estar una ciudad, sino que hay que saber medir la distancia entre dos puntos del terreno. Los científicos del IIIT Hyderabad y de AIG Hospitals han construido SPAR-Bench, ocho pruebas que comprueban si los modelos médicos de visión son capaces de ese razonamiento. Resulta que los modelos responden muy bien a preguntas sobre la posición típica de los órganos, pero en cuanto la tarea exige comparar en una imagen concreta, por ejemplo, qué riñón es más grande, la precisión cae al nivel del azar.
En la base de SPAR-Bench está el conjunto WORD, con 150 tomografías computarizadas de abdomen y la anotación de 16 órganos. De los cortes se recortaron parches con órganos individuales, se eliminó el contexto y se montaron tres niveles de tareas. El primer nivel es la localización: el modelo debe predecir las coordenadas del centro del órgano. El segundo es la reconstrucción del orden: se mezclan los parches y el modelo debe devolverlos a su lugar. El tercero incluye seis tipos de preguntas sobre el corte completo: si el hígado está a la izquierda del bazo, si la imagen está rotada, qué riñón es más grande, qué fracción del área ocupa un órgano, qué distancia es mayor y cuántos tumores se ven.
El resultado nos devuelve al mapa sin brújula. El modelo recuerda dónde suelen estar los órganos, como un estudiante que se ha aprendido el atlas, pero no sabe medir la distancia entre dos puntos en una imagen concreta. Este hallazgo cambia las reglas de evaluación de los modelos médicos: en lugar del diagnóstico final, hay que comprobar los juicios espaciales intermedios, que son el verdadero trabajo del radiólogo.
El conjunto WORD tiene 150 tomografías, pero para contar tumores se usaron solo 20 volúmenes con anotaciones de LiTS: un caso raro en el que la tarea se complica por la falta de datos, no por su exceso.