Comment un réseau de neurones apprend à partir de quelques images : l'expérience et le vocabulaire ✛
Un traducteur qui consulte à la fois une longue expérience et un dictionnaire de poche traduit plus précisément que celui qui ne s'appuie que sur l'un des deux. C'est le principe de la méthode Exemplar pour l'analyse d'images microscopiques. L'expérience, c'est le réseau de neurones DINOv3 déjà entraîné, qui a vu des millions d'images et sait repérer les détails importants. Le vocabulaire, c'est un ensemble de règles simples qui mettent en évidence les contours, les lignes fines et les taches lumineuses directement sur l'image. Lorsqu'il faut segmenter des cellules ou des vaisseaux sur un nouvel ensemble d'images, Exemplar combine les deux sources et apprend à partir de quelques masques annotés.
Auparavant, le biologiste devait choisir : soit annoter longuement des centaines d'images pour un modèle dédié, soit indiquer manuellement les objets dans un logiciel à chaque fois. Exemplar procède autrement. Il prend un réseau de neurones figé, c'est-à-dire dont les connaissances ne sont pas modifiées, et ajoute par-dessus une petite tête entraînable. La tête examine l'image de deux manières : en entier et par morceaux, afin de ne manquer ni les grands détails ni les petits. En parallèle, 35 filtres classiques sont calculés sur l'image ; ils ne sont pas entraînés, mais fournissent des indices sur la structure. Tous ces signaux sont combinés, et la tête produit une carte où le premier plan est séparé de l'arrière-plan.
La méthode aide déjà à annoter rapidement de nouvelles images lorsqu'on ne dispose que d'un ou de quelques masques. Elle est 16 à 77 fois plus rapide que l'entraînement d'un autre modèle à partir de zéro. À l'avenir, on pourrait la rendre encore plus pratique : qu'elle se réentraîne en quelques secondes à chaque ajout d'un nouveau masque et qu'elle suggère elle-même quelle image annoter ensuite.
Le banc classique de filtres, qui est figé et non entraîné dans ce travail, était à l'origine un segmenteur autonome dans un article précédent des mêmes auteurs. Désormais, il joue le rôle d'« a priori » fournissant une information structurelle, et sa contribution est particulièrement visible sur les vaisseaux rétiniens : il ajoute 0,225 à la métrique centreline Dice.
L'idée de combiner la connaissance « figée » d'un grand modèle avec des règles simples et interprétables rappelle l'approche de la nouvelle de Ted Chiang « Le cycle de vie des objets logiciels », où des créatures numériques apprennent à partir d'un petit nombre d'exemples en combinant instincts innés et expérience acquise.