Переводчик, который сверяется и с многолетним опытом, и с карманным словарём, переводит точнее, чем тот, кто полагается на что-то одно. Так же работает метод Exemplar для разглядывания микроскопических снимков. Опыт — это уже обученная нейросеть DINOv3, которая видела миллионы картинок и умеет находить важные детали. Словарь — это набор простых правил, которые подчёркивают края, тонкие линии и яркие пятна прямо на снимке. Когда нужно выделить клетки или сосуды на новом наборе снимков, Exemplar объединяет оба источника и учится по нескольким размеченным маскам.
Раньше биологу приходилось выбирать: либо долго размечать сотни картинок для специальной модели, либо каждый раз вручную указывать объекты в программе. Exemplar делает иначе. Он берёт замороженную нейросеть, то есть её знания не меняются, и добавляет сверху маленькую обучаемую голову. Голова смотрит на картинку двумя способами: целиком и по кусочкам, чтобы не упустить ни крупные, ни мелкие детали. Параллельно по картинке считаются 35 классических фильтров, которые не обучаются, а просто дают подсказки о структуре. Все эти сигналы объединяются, и голова выдаёт карту, где передний план отделён от фона.
Метод уже сейчас помогает быстро размечать новые снимки, когда есть всего одна или несколько масок. Он работает в 16–77 раз быстрее, чем обучение другой модели с нуля. В будущем его можно сделать ещё удобнее: чтобы он переобучался за секунды при добавлении каждой новой маски и сам подсказывал, какой снимок разметить следующим.
Классический банк фильтров, который в этой работе заморожен и не обучается, изначально был самостоятельным сегментатором в предыдущей статье тех же авторов. Теперь он выступает в роли «приора», задающего структурную информацию, и его вклад особенно заметен на сосудах сетчатки: там он добавляет 0,225 к метрике centreline Dice.
Идея объединять «замороженное» знание большой модели с простыми, интерпретируемыми правилами напоминает подход из рассказа Теда Чана «Жизненный цикл программных объектов», где цифровые существа обучаются на малом числе примеров, комбинируя врождённые инстинкты и приобретённый опыт.