Cómo aprende una red neuronal con unas pocas imágenes: experiencia y vocabulario ✛
Un traductor que consulta tanto su experiencia de años como un diccionario de bolsillo traduce con más precisión que quien se fía solo de uno de los dos. Así funciona el método Exemplar para analizar imágenes microscópicas. La experiencia es la red neuronal ya entrenada DINOv3, que ha visto millones de imágenes y sabe encontrar detalles importantes. El vocabulario es un conjunto de reglas sencillas que resaltan bordes, líneas finas y manchas brillantes directamente en la imagen. Cuando hay que segmentar células o vasos en un nuevo conjunto de imágenes, Exemplar combina ambas fuentes y aprende a partir de unas pocas máscaras etiquetadas.
Antes, un biólogo tenía que elegir: o etiquetar durante mucho tiempo cientos de imágenes para un modelo específico, o señalar manualmente los objetos en un programa cada vez. Exemplar hace algo distinto. Toma una red neuronal congelada, es decir, sus conocimientos no cambian, y le añade una pequeña cabeza entrenable. La cabeza examina la imagen de dos maneras: completa y por fragmentos, para no perder detalle ni grande ni pequeño. En paralelo, se calculan 35 filtros clásicos sobre la imagen, que no se entrenan, sino que simplemente ofrecen pistas sobre la estructura. Todas estas señales se combinan y la cabeza produce un mapa donde el primer plano se separa del fondo.
El método ya ayuda a etiquetar rápidamente nuevas imágenes cuando solo se dispone de una o varias máscaras. Funciona entre 16 y 77 veces más rápido que entrenar otro modelo desde cero. En el futuro se podría hacer aún más cómodo: que se reentrene en segundos al añadir cada nueva máscara y que sugiera por sí mismo qué imagen etiquetar a continuación.
El banco de filtros clásicos, que en este trabajo está congelado y no se entrena, fue originalmente un segmentador independiente en un artículo anterior de los mismos autores. Ahora actúa como un 'prior' que aporta información estructural, y su contribución es especialmente notable en los vasos retinianos: allí añade 0,225 a la métrica centreline Dice.
La idea de combinar el conocimiento 'congelado' de un gran modelo con reglas simples e interpretables recuerda al enfoque del relato de Ted Chiang 'El ciclo de vida de los objetos de software', donde las criaturas digitales aprenden con pocos ejemplos combinando instintos innatos y experiencia adquirida.