Обработка изображений eess.IV

Кора головного мозга похожа на смятый лист бумаги: у неё есть толщина, изгибы и глубина складок. С возрастом этот лист меняется неравномерно — где-то истончается, где-то теряет чёткость изгибов. Раньше врачи оценивали возраст мозга целиком, как будто смотрели на лист издалека.

Патологоанатом смотрит в окуляр и видит розово-фиолетовый срез ткани — так выглядит классическая окраска гематоксилином и эозином. Красители связываются с ядрами и цитоплазмой, и по цвету врач судит о болезни. Но сама подготовка стекла занимает часы: фиксация, заливка парафином, нарезка, окрашивание. Новый прибор обходится без краски.

Электронный микроскоп сканирует образец и в каждой точке записывает, как электроны рассеиваются на атомах. Получается гигантская стопка снимков — по одному на каждую точку. В них зашифрована информация о том, как уложены атомы: ровными рядами или с перекосом, куда повёрнута кристаллическая решётка, есть ли внутренние напряжения.

Обычный тепловизор похож на термометр, который медленно нагревается и остывает. Он хорошо показывает, где тепло, но не успевает за быстрым движением. Новый датчик работает иначе: он считает отдельные кванты тепла, как счётчик капель во время дождя.

УЗИ сердца — как окно в моторный отсек: видно, как камеры сжимаются и разжимаются. Главный вопрос — сколько крови сердце выталкивает за один удар. Врачи считают это вручную, и два специалиста могут разойтись в оценке на 10–15%. Компьютер мог бы считать точнее, но обычные нейросети похожи на чёрный ящик: ответ дают, а как — не говорят. Новый подход работает иначе.

Главная артерия тела — аорта — не просто трубка. При каждом ударе сердца она растягивается и сжимается, как резиновый шланг под напором воды. Увидеть это движение в объёме сложно: обычная МРТ даёт лишь плоские срезы, а полная 3D-съёмка во времени требует дорогого оборудования и долгого лежания в сканере. Группа исследователей нашла выход.

Лазер плавит металлический порошок слой за слоем, и внутри кипящей ванны за миллисекунды появляются и схлопываются пузырьки пара. Увидеть эту кухню в действии раньше не удавалось: рентгеновский томограф, который делает трёхмерные снимки, слишком медленный. Образец должен повернуться, а за это время расплав уже сто раз изменится. Инженеры из Швеции нашли выход.

Под городскими улицами лежит паутина из оптоволокна — сотни километров стеклянных нитей, по которым бежит интернет. Но точные карты этой паутины часто потеряны или устарели. Найти кабель под землёй — всё равно что искать на ощупь провод в стене, не зная, где он проходит. Новый метод превращает сам кабель в ухо. Оптоволокно, которое уже лежит в земле, улавливает малейшие колебания почвы.

Хирург убирает опухоль груди, но как узнать, что по краю не осталось ни одной больной клетки? Сейчас ткань отправляют в лабораторию, и ответ приходит через несколько дней. Если край оказался нечистым — нужна вторая операция. Новый метод обещает дать ответ прямо в операционной, пока пациентка ещё на столе.

Свет, проходя через мутную среду вроде молока или живой ткани, рассеивается во все стороны. Восстановить, где именно свет поглощался сильнее, — всё равно что по луже на асфальте угадать форму упавшего предмета. Оптическая томография решает эту задачу, но обычно требует больших вычислительных ресурсов.

Капля чернил в стакане воды расплывается быстро и равномерно. Но если вода зажата между плотно упакованными шариками, чернильное облачко ползёт медленно и причудливо — огибает препятствия, застревает в узких горлышках. Примерно так же движутся молекулы воды в живой ткани. В опухоли мозга клетки стоят тесно, а пространство между ними напоминает лабиринт с пережатыми ходами.

Чтобы заглянуть внутрь мышцы, её просвечивают радиоволнами в сильном магнитном поле — так работает МРТ. Вода в клетках и вода в крови откликаются по-разному, но обычный сканер этого не различает: он выдаёт усреднённую картинку, где сигнал от капилляров накладывается на сигнал от мышечных волокон.

У одного человека болезнь начинается с дрожи в руке — чашка пляшет на блюдце, пока он несёт её к столу. У другого — ноги вдруг отказываются идти ровно: шаг становится коротким, шаркающим, будто пол внезапно покрылся липким слоем. Это не две разные болезни, а два лица одной и той же — болезни Паркинсона.

Ультразвук — это не только про младенцев на экране. С его помощью можно сканировать мышцы и сухожилия, но есть загвоздка: кости. Для звука они — как зеркало для света. Отражение получается таким сильным, что за ним ничего не видно.

Повар годами оттачивает умение сводить рецепт к трём-четырём сущностям и по ним воссоздавать блюдо. Если состав знаком, на тарелке ожидаемый обед. Чужеродный ингредиент нарушает компрессию, и получается не пойми что. Квантовый сжиматель действует так же с медицинскими снимками.

Обугленный комок величиной с кулак — вот что осталось от свитка из библиотеки римского города Геркуланума. Две тысячи лет назад его погребло извержение Везувия, и с тех пор никто не читал скрытый внутри текст. Попытка развернуть такой свиток физически превратила бы его в пепел. Но теперь археологам не нужно рисковать.

Глаз воспалён, роговица мутнеет. Врачу нужно срочно понять, кто виноват — бактерия или грибок. От этого зависит лекарство. Ошибка стоит зрения. Но классический ответ из лаборатории приходит через несколько дней, а в удалённых районах его можно не дождаться вовсе.

Радиолог всматривается в серо-белые разводы на экране — десятки срезов тела, где нужно найти каждое подозрительное пятно. Ручная разметка одного пациента отнимает полчаса, а в крупной клинике таких пациентов — сотни. Усталость и разный опыт врачей неизбежно рождают разброс: один и тот же очаг два специалиста обведут чуть по-разному. Эту рутину берёт на себя новая модель с открытым кодом GLOW-FDG.

Представьте стакан воды, наполненный до краёв. Продолжать лить в него жидкость — бессмысленная трата ресурса. Похожий парадокс долгое время преследовал облачный гейминг: видеокодеры гнали поток данных на максимальной мощности, хотя человеческий глаз переставал различать улучшения задолго до достижения технического предела.

Магнитно-резонансные томограммы простаты зачастую напоминают снимки через грязное стекло: присутствует шум, контуры размыты, а геометрия искажена из-за неоднородностей магнитного поля. Исследователи проверили, что произойдёт, если «помыть» это окно: удалить артефакты, скорректировать искажения и точно совместить разные импульсные последовательности.

Оценка качества снимка — это работа для дотошного контролёра с целым арсеналом инструментов. Нейросеть IQA-T1 действует именно так: она не просто разглядывает картинку, а методично применяет то спектроскоп, то люксметр. Цифровой шум, словно рябь на воде, маскирует дефекты, но анализ частот — спектроскопия изображения — позволяет выявить потерю резкости.

Медицинские снимки, по сути, представляют собой карты плотности тканей: яркость каждого пикселя кодирует локальные свойства среды, подобно тому как фотометрия — раздел оптики, измеряющий интенсивность света — регистрирует силу излучения.

Миниатюрный квадрокоптер размером с пчелу самостоятельно прокладывает маршрут в помещении, подобно тому как космический зонд маневрирует в астероидном поле. Его камера функционирует как прибор для фотометрии — измерения интенсивности отражённого света, улавливая свет, отражённый от окружающих объектов.

Сырой цифровой снимок — это мозаика, где каждый пиксель хранит лишь один базовый спектральный компонент: красный, зелёный или синий. Для сжатия такого файла его разделяют на яркостную составляющую — детальное монохромное изображение, несущее информацию об интенсивности света, — и цветовую компоненту.

Современные системы машинного зрения обретают автономность: инженерам удалось реализовать алгоритм распознавания образов непосредственно на миниатюрном чипе, избавив камеру от необходимости передавать данные на громоздкий компьютер.

Томографы не создают готовых изображений напрямую. Их принцип работы — сбор множества «теней», то есть проекций внутренней структуры, полученных под разными углами или с помощью различных физических сигналов. Затем математические алгоритмы восстанавливают по этим проекциям трёхмерную картину.

Дирижёр держит не палочку, а кисть, и каждый взмах рождает цвет и форму. Эта аналогия помогает понять новую технологию: она преобразует эмоциональную динамику песни в панорамное видео, окружающее слушателя, — подобно тому, как художник превращает замысел в объёмное полотно.

Капля мочи под микроскопом — не плоская лужица, а многослойный объём. Представьте стопку прозрачных страниц: если фокусироваться на одной, соседние расплываются. Так и свет микроскопа, подчиняясь законам оптики, чётко показывает только один слой глубины.

ИИ-диагност учится подобно студенту-медику перед экзаменом. Ему предоставляют рентгеновский снимок и жалобы пациента. Однако иногда среди учебных материалов случайно оказывается готовый отчёт врача — полный ответ. Тогда нейросеть, словно нерадивый студент, запоминает его, и точность на тесте взлетает до 98%. Но это не что иное, как списывание: реальный диагностический навык не формируется.

Объём данных одного КТ-сканирования сопоставим с несколькими полнометражными фильмами в высоком разрешении. TCAM-Diff — это алгоритмический метод, который обходит это узкое место: программа сжимает трёхмерную картину в три двумерные теневые проекции — словно скульптор восстанавливает объёмную статую по силуэтам, отбрасываемым на три перпендикулярные стены.

Ультразвуковое исследование основано на отражении звуковых волн от тканей: датчик посылает импульсы, а эхо, вернувшись с разной задержкой и интенсивностью, формирует контуры органов. Однако на снимке яичника трудно отличить безобидную кисту — полость, заполненную жидкостью, — от твёрдого ракового узла. Даже специалисты проводят границы по-разному, а это напрямую влияет на выбор лечения.

Представьте перекрученный садовый шланг: вода в нём встречает сопротивление, напор падает. Похожий процесс происходит в артериях, когда они теряют свою прямолинейную геометрию. Извитость сосудов — это не просто косметический дефект, а фактор, нарушающий гемодинамику и создающий угрозу ишемического инсульта.

Стандартный КТ-сканер выполняет серию рентгеновских снимков под разными углами, на основе которых вычислительные методы восстанавливают трёхмерное изображение. Однако в клинической практике нередки ситуации, когда сканируется лишь ограниченная область — например, одно лёгкое — и проекционные данные обрываются. Возникает так называемая проблема ограниченного угла обзора.

Обученная на обычных снимках без каких-либо меток, модель компьютерного зрения DINOv3 неожиданно проявила способность, напоминающую работу спектроскопа: она самопроизвольно научилась выделять на лицах отдельные зоны — глаза, нос, рот — словно раскладывая портрет на спектральные составляющие.

В трёхмерной сцене каждая точка подобна конфете с переливающейся обёрткой: её цвет меняется в зависимости от угла зрения. Чтобы описать эту игру оттенков, для каждой точки хранят десятки чисел — специальную математическую функцию, разложение в ряд, предложенное ещё Жозефом Фурье.

Алгоритм улучшения фотографий можно представить как навигатор, который шаг за шагом ведёт размытое изображение к чёткости. Он удаляет шум — случайные искажения сигнала и дефекты, перемещаясь от пикселя к пикселю по своеобразной «карте», заложенной при обучении.

Однопиксельная камера работает подобно художнику, создающему картину через трафарет с множеством отверстий. В каждом кадре на единственный датчик попадает лишь часть светового потока, модулированная маской — пространственным модулятором света, — а затем компьютер реконструирует целостное изображение, собирая эту мозаику с помощью вычислительных алгоритмов.

В отличие от традиционных камер, которые захватывают полный кадр с фиксированной частотой, событийные сенсоры действуют иначе: каждый пиксель независимо реагирует лишь тогда, когда локальная яркость изменяется — становится заметно больше или меньше. Результат — не привычный снимок, а непрерывный поток событий, своего рода «вспышек» с координатами, временем и знаком изменения.

Два снимка одного мозга, сделанные в разное время, похожи на фотографии одного дома до и после ремонта. Чтобы понять, что изменилось, их накладывают друг на друга и анализируют различия. Но томограф — не идеальная камера: он сам добавляет искажения, будто снимок сделан через слегка неровное стекло. Раньше программы не различали, какие изменения настоящие, а какие — от аппарата.

Радиолог смотрит на снимок брюшной полости и видит не просто органы, а их взаимное расположение: какая почка больше, где опухоль относительно сосуда. Это похоже на чтение карты, где важно не только знать, где обычно стоит город, но и уметь измерить расстояние между двумя точками на местности.