Опухоль на снимке — как маленькая яркая точка на огромном темном полотне. Врачу нужна именно она, а не идеально ровный фон. Но когда нейросеть учится превращать обычную компьютерную томографию (КТ) в подобие позитронно-эмиссионной томографии (ПЭТ), она часто старается сделать красиво везде — и в итоге смазывает эту точку.
Проблема в том, что опухолевые клетки занимают лишь крошечную долю всего объема тела. Если мерить качество по всему снимку, модель может получить высокие баллы, но при этом пропустить слабое свечение рака. Авторы новой работы предложили добавить в нейросеть два простых сигнала: один показывает, насколько неоднородна текстура ткани, другой — насколько сильны перепады плотности. Эти сигналы дешево вычисляются из КТ и помогают модели сфокусироваться на подозрительных участках.
Модель назвали LAFNO. Ее обучили на реальных данных пациентов с раком простаты, где опухоли светятся благодаря радиоактивному маркеру PSMA. В тестах LAFNO уменьшила ошибку в оценке общей активности опухоли почти вдвое по сравнению с предыдущими методами. Точность воспроизведения текстуры опухоли тоже выросла — это важно для последующего автоматического анализа.
Пока что воспроизведение ткани вокруг опухоли остается нестабильным и зависит от типа маркера. Но сам подход — подсказывать сети, куда смотреть, через простые физические характеристики — может пригодиться и в других задачах медицинской визуализации.
Радиоактивный маркер PSMA, используемый в ПЭТ, специально цепляется за белок, которого много на поверхности клеток рака простаты — поэтому опухоль «светится» на снимке.