Anatomie sans boussole : comment les modèles médicaux perçoivent l'espace ✛

Un radiologue regarde un scanner abdominal et voit non seulement des organes, mais aussi leur disposition mutuelle : quel rein est plus gros, où se trouve la tumeur par rapport au vaisseau. C'est comme lire une carte : il ne suffit pas de savoir où se trouve habituellement une ville, il faut aussi savoir mesurer la distance entre deux points sur le terrain. Des chercheurs de l'IIIT Hyderabad et des AIG Hospitals ont construit SPAR-Bench, huit épreuves qui testent si les modèles de vision médicale sont capables d'un tel raisonnement. Il s'avère que les modèles répondent très bien aux questions sur la position typique des organes, mais dès que la tâche exige une comparaison dans une image spécifique, par exemple quel rein est plus grand, la précision chute au niveau du hasard.

SPAR-Bench repose sur l'ensemble WORD, qui comprend 150 tomodensitométries abdominales avec l'annotation de 16 organes. À partir des coupes, on a découpé des tuiles contenant des organes individuels, supprimé le contexte et créé trois niveaux de tâches. Le premier niveau est la localisation : le modèle doit prédire les coordonnées du centre de l'organe. Le deuxième est la reconstruction de l'ordre : les tuiles sont mélangées et le modèle doit les remettre à leur place. Le troisième comprend six types de questions sur une coupe entière : le foie est-il à gauche de la rate, l'image est-elle pivotée, quel rein est plus gros, quelle fraction de la surface l'organe occupe-t-il, quelle distance est la plus grande, et combien de tumeurs sont visibles.

Le résultat principal est que la symétrie bilatérale est restée au niveau du hasard dans les 13 configurations, lors du transfert sur des données externes et chez les modèles multimodaux. La précision n'a pas dépassé 36 %, alors que le hasard est de 33 %. En revanche, la position relative des organes dans l'ensemble WORD atteignait 99 %, mais lors du transfert sur TotalSegmentator, elle chutait à 50–70 %, et pour un modèle à 50.03±0.04, ce qui est indiscernable du hasard. Cela signifie que les scores élevés reflétaient la mémorisation de l'anatomie typique, et non un calcul à partir de l'image.

Une autre découverte : la manière de lire les caractéristiques change les conclusions. BiomedCLIP gelé avec une tête MLP ne reconstruisait l'ordre des tuiles que dans 0.7 % des cas, alors qu'avec une tête Transformer sur les mêmes caractéristiques, il atteignait 67.8 %. Autrement dit, le pooling masque l'information présente dans les jetons. Le fine-tuning de RadDINO a amélioré la reconstruction de l'ordre (de 22 % à 69 % pour MLP), mais a dégradé la localisation (de 9.88 à 11.46 pixels d'erreur), montrant un compromis entre les capacités. Les modèles multimodaux répondaient au hasard aux questions que les encodeurs résolvaient presque parfaitement, et inversement, pour la taille des organes, l'écart entre eux atteignait 75 points de pourcentage.

En fin de compte, on en revient à la carte sans boussole. Le modèle se souvient de l'emplacement habituel des organes, comme un étudiant qui a appris l'atlas, mais il ne sait pas mesurer la distance entre deux points sur une image donnée. Cette découverte change les règles d'évaluation des modèles médicaux : au lieu du diagnostic final, il faut vérifier les jugements spatiaux intermédiaires, qui constituent le véritable travail du radiologue.