Как нейросеть учится по нескольким картинкам: опыт и словарь ✛

Оригинал: "Exemplar: Classical Priors Complement Frozen Features for Few-Shot Microscopy Segmentation at Native Resolution"
arXiv:2609.03080v1 · 2026-09-02 · CC BY 4.0 · 1 мин
Нейросеть, которая смотрит и на готовый опыт, и на простые правила, выделяет нужные объекты на снимках даже по одной подсказке.

Переводчик, который сверяется и с многолетним опытом, и с карманным словарём, переводит точнее, чем тот, кто полагается на что-то одно. Так же работает метод Exemplar для разглядывания микроскопических снимков. Опыт — это уже обученная нейросеть DINOv3, которая видела миллионы картинок и умеет находить важные детали. Словарь — это набор простых правил, которые подчёркивают края, тонкие линии и яркие пятна прямо на снимке. Когда нужно выделить клетки или сосуды на новом наборе снимков, Exemplar объединяет оба источника и учится по нескольким размеченным маскам.

Раньше биологу приходилось выбирать: либо долго размечать сотни картинок для специальной модели, либо каждый раз вручную указывать объекты в программе. Exemplar делает иначе. Он берёт замороженную нейросеть, то есть её знания не меняются, и добавляет сверху маленькую обучаемую голову. Голова смотрит на картинку двумя способами: целиком и по кусочкам, чтобы не упустить ни крупные, ни мелкие детали. Параллельно по картинке считаются 35 классических фильтров, которые не обучаются, а просто дают подсказки о структуре. Все эти сигналы объединяются, и голова выдаёт карту, где передний план отделён от фона.

Вместе опыт и словарь дают результат 0,782 на одиннадцати наборах снимков. По отдельности опыт даёт 0,672, а словарь — 0,693. Словарь особенно полезен для тонких сосудов, а опыт — для круглых сгустков клеток.

Метод уже сейчас помогает быстро размечать новые снимки, когда есть всего одна или несколько масок. Он работает в 16–77 раз быстрее, чем обучение другой модели с нуля. В будущем его можно сделать ещё удобнее: чтобы он переобучался за секунды при добавлении каждой новой маски и сам подсказывал, какой снимок разметить следующим.

Классический банк фильтров, который в этой работе заморожен и не обучается, изначально был самостоятельным сегментатором в предыдущей статье тех же авторов. Теперь он выступает в роли «приора», задающего структурную информацию, и его вклад особенно заметен на сосудах сетчатки: там он добавляет 0,225 к метрике centreline Dice.

Идея объединять «замороженное» знание большой модели с простыми, интерпретируемыми правилами напоминает подход из рассказа Теда Чана «Жизненный цикл программных объектов», где цифровые существа обучаются на малом числе примеров, комбинируя врождённые инстинкты и приобретённый опыт.