Два глаза лучше одного: как нейросеть учится видеть опухоль экспресс
Врач разглядывает снимок мозга: где-то в переплетении тканей прячется опухоль. Один взгляд выхватывает мелкие пятна и границы, другой — общую форму и расположение. Человек совмещает оба, но на сотнях снимков это утомительно. Новая программа делает то же самое автоматически.
Одна её часть работает как лупа: скользит по изображению и собирает мелкие детали — текстуру, края, локальные изменения. Вторая смотрит широко, как с высоты, и связывает далеко отстоящие участки: где опухоль относительно желудочков, как она вписана в общую картину. Раньше такие взгляды объединяли грубо — просто смешивали результаты. Теперь добавили «переговорную»: специальный блок решает, сколько от каждого взгляда взять для конкретного снимка и конкретного участка.
Модель обучили на наборе снимков с опухолями и без. Она верно распознала опухоль в 97,6% случаев — это выше, чем у каждой части по отдельности и у прежних способов слияния. Точность, полнота и общий показатель качества — все выросли. Значит, гибкое взвешивание двух взглядов помогает видеть болезнь чётче.
Такой подход может пригодиться не только для опухолей мозга: любые медицинские изображения, где важны и мелкие детали, и общая картина, выиграют от «двух глаз с дирижёром».
Показатель AUC 0,9946 означает, что если взять случайный снимок с опухолью и случайный без, модель почти всегда поставит первому более высокую оценку «похожести на опухоль».