Переводчик с карманным словарём: как обучить нейросеть по нескольким маскам ✛

‹›

Переводчик, который сверяется и с многолетним опытом, и с карманным словарём, переводит точнее, чем тот, кто полагается на что-то одно. В сегментации микроскопических изображений роль опыта играют замороженные признаки большой нейросети, а роль словаря — набор классических фильтров, вычисляемых прямо по картинке. Когда разметки мало, их объединение в одной лёгкой голове даёт результат, который по отдельности недостижим.

Биологу, который хочет выделить структуры на новом наборе снимков, обычно предлагают два пути. Специализированные инструменты вроде Cellpose или StarDist хорошо распознают клетки, но не годятся для сосудов или мембран, и их перенастройка требует новых аннотаций. Промптируемые модели семейства Segment Anything более универсальны, однако ими нужно управлять в момент вывода, а не настраивать на задачу по малому числу примеров. Метод Exemplar выбирает третий путь: он берёт уже обученную сеть DINOv3, замораживает её веса и добавляет сверху маленькую обучаемую голову. Голова смотрит на два масштаба: грубую сетку со всего кадра и мелкую сетку, полученную разбиением на окна. Оба масштаба проецируются на 32 канала и поднимаются до исходного разрешения с помощью направляемого фильтра, который учится отклоняться от билинейной интерполяции только вдоль краёв.

Эксперименты на одиннадцати биомедицинских датасетах показывают, что при восьми опорных масках Exemplar достигает среднего значения 0,782 по назначенным метрикам. Против пяти методов прямого прохода он лидирует в 54 из 55 сравнений, из них 52 значимы после поправки Холма. При одной опорной маске Exemplar получает 0,703 на всех одиннадцати наборах, тогда как лучший прямой метод с шестнадцатью масками достигает лишь 0,519. По сравнению с nnU-Net, обученным с нуля на тех же масках, при восьми масках nnU-Net впереди (0,803 против 0,782), но при одной маске Exemplar выигрывает (0,703 против 0,682), а время обучения у него в 16–77 раз меньше.

Абляция раскрывает, зачем нужны оба источника. Классический банк приоров в одиночку даёт 0,693, замороженные признаки — 0,672, а вместе — 0,782. Банк сильнее на тонких структурах, например на сосудах сетчатки, где он добавляет 0,225 к метрике centreline Dice. Замороженные признаки лучше справляются со сфероидами. До этой работы было неясно, какой источник сильнее при малом числе плотных масок и можно ли их объединить с выгодой. Теперь понятно: они дополняют друг друга, а не конкурируют.

Переводчик с карманным словарём уже сегодня полезен в лаборатории. Метод можно применять для быстрой разметки новых микроскопических датасетов, когда доступно лишь несколько размеченных изображений, особенно если структуры тонкие или разнородные. Следующий шаг — заменить градиентную оптимизацию головы на замкнутое или инкрементное обновление, чтобы модель переобучалась за секунды при добавлении каждой новой маски. Тогда переводчик сможет не только переводить, но и подсказывать, какое изображение разметить следующим.