Une carte sans boussole : pourquoi les modèles médicaux confondent gauche et droite ✛
Un radiologue regarde un scanner abdominal et voit non seulement des organes, mais aussi leur disposition relative : quel rein est plus gros, où se trouve la tumeur par rapport au vaisseau. C'est comme lire une carte, où il importe non seulement de savoir où se trouve habituellement une ville, mais aussi de savoir mesurer la distance entre deux points sur le terrain. Des chercheurs de l'IIIT Hyderabad et des hôpitaux AIG ont construit SPAR-Bench, huit épreuves qui testent si les modèles de vision médicale sont capables de ce raisonnement. Il s'avère que les modèles répondent très bien aux questions sur la position typique des organes, mais dès que la tâche exige une comparaison dans une image spécifique, par exemple quel rein est plus gros, la précision chute au niveau du hasard.
SPAR-Bench repose sur l'ensemble WORD, qui contient 150 scanners abdominaux avec l'annotation de 16 organes. À partir des coupes, on a découpé des tuiles contenant des organes individuels, supprimé le contexte et constitué trois niveaux de tâches. Le premier niveau est la localisation : le modèle doit prédire les coordonnées du centre de l'organe. Le deuxième est la remise en ordre : les tuiles sont mélangées et le modèle doit les remettre à leur place. Le troisième comprend six types de questions sur une coupe entière : le foie est-il à gauche de la rate, l'image est-elle pivotée, quel rein est plus gros, quelle fraction de la surface l'organe occupe-t-il, quelle distance est la plus grande, et combien de tumeurs sont visibles.
Le résultat nous ramène à la carte sans boussole. Le modèle se souvient où les organes se trouvent habituellement, comme un étudiant qui aurait appris un atlas, mais il ne sait pas mesurer la distance entre deux points sur une image donnée. Cette découverte change les règles d'évaluation des modèles médicaux : au lieu du diagnostic final, il faut vérifier les jugements spatiaux intermédiaires, qui constituent le véritable travail du radiologue.
L'ensemble WORD contient 150 scanners, mais pour compter les tumeurs, seuls 20 volumes annotés de LiTS ont été utilisés, un cas rare où la tâche est compliquée par un manque de données, et non par un excès.