Un traducteur avec dictionnaire de poche : comment entraîner un réseau de neurones à partir de quelques masques ✛

‹›

Un traducteur qui consulte à la fois une longue expérience et un dictionnaire de poche traduit plus précisément que celui qui ne s'appuie que sur l'un des deux. En segmentation d'images microscopiques, l'expérience est incarnée par les caractéristiques figées d'un grand réseau de neurones, et le dictionnaire par un ensemble de filtres classiques calculés directement sur l'image. Lorsque l'annotation est rare, leur combinaison dans une tête légère donne un résultat inaccessible séparément.

Un biologiste qui souhaite segmenter des structures dans un nouvel ensemble d'images se voit généralement proposer deux voies. Des outils spécialisés comme Cellpose ou StarDist reconnaissent bien les cellules, mais ne conviennent pas aux vaisseaux ou aux membranes, et leur réglage nécessite de nouvelles annotations. Les modèles à invites de la famille Segment Anything sont plus polyvalents, mais ils doivent être pilotés au moment de l'inférence, et non ajustés à la tâche à partir d'un petit nombre d'exemples. La méthode Exemplar choisit une troisième voie : elle prend un réseau DINOv3 déjà entraîné, fige ses poids et ajoute par-dessus une petite tête entraînable. La tête examine deux échelles : une grille grossière sur l'image entière et une grille fine obtenue par découpage en fenêtres. Les deux échelles sont projetées sur 32 canaux et remontées à la résolution d'origine grâce à un filtre guidé qui n'apprend à s'écarter de l'interpolation bilinéaire que le long des contours.

Les expériences sur onze jeux de données biomédicaux montrent qu'avec huit masques de référence, Exemplar atteint une valeur moyenne de 0,782 sur les métriques assignées. Contre cinq méthodes à passage unique, il est en tête dans 54 des 55 comparaisons, dont 52 significatives après correction de Holm. Avec un seul masque de référence, Exemplar obtient 0,703 sur les onze ensembles, tandis que la meilleure méthode à passage unique avec seize masques n'atteint que 0,519. Par rapport à nnU-Net entraîné de zéro sur les mêmes masques, avec huit masques nnU-Net est en tête (0,803 contre 0,782), mais avec un seul masque Exemplar gagne (0,703 contre 0,682), et son temps d'entraînement est 16 à 77 fois inférieur.

L'ablation révèle pourquoi les deux sources sont nécessaires. La banque classique de priors seule donne 0,693, les caractéristiques figées 0,672, et ensemble 0,782. La banque est plus performante sur les structures fines, par exemple les vaisseaux rétiniens, où elle ajoute 0,225 à la métrique centreline Dice. Les caractéristiques figées gèrent mieux les sphéroïdes. Avant ces travaux, on ne savait pas quelle source était la plus forte avec un petit nombre de masques denses, ni si on pouvait les combiner avantageusement. Désormais, c'est clair : elles se complètent, au lieu de se concurrencer.

Le traducteur avec dictionnaire de poche est déjà utile au laboratoire. La méthode peut être employée pour annoter rapidement de nouveaux jeux de données microscopiques lorsqu'on ne dispose que de quelques images annotées, surtout si les structures sont fines ou hétérogènes. La prochaine étape consiste à remplacer l'optimisation par descente de gradient de la tête par une mise à jour en boucle fermée ou incrémentale, afin que le modèle se réentraîne en quelques secondes à chaque ajout d'un nouveau masque. Le traducteur pourra alors non seulement traduire, mais aussi suggérer quelle image annoter ensuite.