Компьютерное зрение cs.CV

Представьте себе пограничную реку, которая разделяет две страны. На одном берегу живут одни люди, на другом — другие. Граница между ними не всегда очевидна: где-то река широкая и спокойная, а где-то узкая и бурная. Но именно в тех местах, где течение резко меняется, граница становится особенно заметной.

Два снимка одного и того же места — один сделан утром с дрона, другой вечером со спутника. На первом — тени от деревьев, на втором — блики на воде. Это как два рассказа об одном событии на разных диалектах: слова похожи, но грамматика разная. Совмещение изображений — это переводчик, который находит общий язык между такими кадрами. Переводчик не просто подгоняет слова — он ищет опорные точки.

Метеоролог смотрит на карту, где облака сбиваются в стаи, как птицы перед грозой. Каждое пятно на радаре — это будущий ливень или просто шум. Прогноз земной системы похож на попытку собрать пазл из тысяч кусочков, которые постоянно меняют форму. Долгие годы синоптики полагались на численные модели, которые перемалывают уравнения физики атмосферы и океана.

Переводчик на переговорах улавливает не только слова, но и тон, с которым они сказаны. Если он сосредоточится только на лексике, то пропустит сарказм или усталость в голосе. Если только на интонации — переврёт детали договора. В прогнозе погоды происходит похожая история: спутниковые снимки несут и локальные детали вроде грозовых ячеек, и глобальные волны, которые тянутся через весь океан.

Электрокардиограмма похожа на партитуру, где каждая нота — удар сердца. Врач слышит мелодию и замечает фальшивые ноты — аритмию. Но слушать партитуру часами утомительно, поэтому у кровати больного ставят умный датчик.

Стенка мочевого пузыря — не резиновый шарик. Когда орган опорожняется, его поверхность идёт складками, как скомканная бумага, и в разных местах натяжение разное. Раньше, чтобы это измерить, на ткань наносили крапинки-метки. Но краска сама по себе меняет поведение живой ткани — как лишний слой скотча на воздушном шаре. Новый способ обходится без краски.

Опухоль мозга глиобластома коварна: у одних пациентов лекарство темозоломид работает, у других — почти нет. Разница часто кроется в маленьком участке ДНК — гене MGMT. Если этот участок химически «выключен» (метилирован), опухоль хуже чинит свои клетки, и лекарство бьёт точнее.

Врач смотрит на снимок груди, чтобы найти подозрительное уплотнение. Если картинка красивая и гладкая, но уплотнение на ней исчезло — толку от такого снимка мало. Именно с этой проблемой столкнулись исследователи, разработавшие новый способ проверки программ для фотоакустической томографии.

Ткань мозга на снимке напоминает грозовое небо: светлые пятна, тёмные провалы, размытые края. Опухоль прячется среди этих узоров, и врачу нужно обвести её контур, чтобы спланировать операцию или облучение. Один режим МРТ подсвечивает отёк, другой — ядро опухоли, третий — мёртвые участки.

В тёмной комнате на столе стоят лазерная указка, кусок стекла с тканью и обычная камера от телефона. Свет проходит сквозь образец, и на снимке появляются не клетки, а узор из светлых и тёмных полос — как тень от листвы на стене. По этому узору компьютер учится угадывать, сколько белка HER2 на поверхности раковых клеток груди. Белок HER2 — как дверная ручка, за которую лекарство может ухватиться.

УЗИ сердца — как окно в моторный отсек: видно, как камеры сжимаются и разжимаются. Главный вопрос — сколько крови сердце выталкивает за один удар. Врачи считают это вручную, и два специалиста могут разойтись в оценке на 10–15%. Компьютер мог бы считать точнее, но обычные нейросети похожи на чёрный ящик: ответ дают, а как — не говорят. Новый подход работает иначе.

В тропической деревне лаборант смотрит в окуляр микроскопа: нужно найти крошечные яйца глистов в капле жидкости. Работа монотонная, глаза устают, и паразита легко пропустить. А ведь от этого зависит, получит ли человек лекарство. Новый подход поручает поиск нейросети, которая понимает и текст, и картинки.

Мозг каждого человека покрыт извилинами, как отпечаток пальца — своим неповторимым узором. При деменции этот узор меняется, но у двух похожих болезней, Альцгеймера и деменции с тельцами Леви, изменения почти неотличимы на глаз. Врачам нужен надёжный способ их разделить, ведь лечение разное.

Погода на соседней улице может отличаться от вашей: у реки прохладнее, на асфальте жарче, между домами дует сильнее. Обычный прогноз этого не видит — его ячейка размером с город, а не с двор. Учёные взяли данные тысяч наземных станций и спутниковые снимки поверхности и научились достраивать мелкую погодную картину по крупной.

Солнечные вспышки — внезапные выбросы электромагнитной энергии и ускоренных частиц на Солнце — способны вывести из строя спутники и наземные электросети. Традиционные прогностические модели страдали от двух крайностей: либо генерировали ложные тревоги, либо пропускали действительно опасные события.

Врач смотрит на серо-белое пятно на экране. Это лицо ещё не родившегося ребёнка. Одна тень в нужном месте — и можно вовремя подготовить операцию. Но тень видна не всем: расщелина губы или нёба встречается редко, и молодой специалист может ни разу не увидеть её за годы работы. Нейросеть учили на 45 139 УЗИ-снимках от 9 215 плодов из 22 больниц.

Кухонный нож и овощечистка по отдельности справляются с разными задачами, но когда повар учится новому рецепту, он часто хватается за один и тот же нож для всего. Похоже, так же поступает мозг, когда осваивает новый навык различения образов. В эксперименте обезьяны неделями тренировались различать едва заметные отличия в сложных узорах.

Снимки далёких галактик пестрят изогнутыми дугами и пятнами — это свет, искорёженный по пути к нам. Эффект, предсказанный Альбертом Эйнштейном в рамках общей теории относительности, работает как гигантское кривое зеркало: массивное скопление галактик своей гравитацией искажает изображения фоновых источников — явление, называемое…

Чтобы разглядеть тусклую звезду над ярким ночным городом, астрономы применяют метод вычитания кадров: из одного снимка неба вычитают другой, убирая постоянное сияние фонарей и оставляя только переменные объекты.

Прогноз погоды — это как попытка предсказать, куда покатится камень по склону, зная форму каждого бугорка и силу ветра. Ошибёшься в начале — и через неделю ошибка вырастет в целую бурю. Раньше для точных прогнозов нужны были огромные компьютеры и многодневные расчёты. Теперь появилась модель Sonny, которая делает то же самое на одной видеокарте. Sonny работает в два шага.

Над тёплыми водами Индийского океана раз в полтора-два месяца собирается огромная волна влажного воздуха. Она движется на восток со скоростью пешехода — около пяти метров в секунду — и за сорок-девяносто дней огибает половину планеты.

Сверхпузыри — это исполинские космические структуры, напоминающие мыльные пузыри, но вместо мыльной плёнки их оболочка состоит из разреженного межзвёздного газа, а «надувает» их не выдох, а последовательные взрывы сверхновых. В компьютерных симуляциях эти объекты ведут себя почти как живые: расширяются, остывают, перемещаются.

Мозг человека с болезнью Паркинсона работает как оркестр, в котором дирижёр то замирает, то размахивает палочкой невпопад. Лекарства помогают не всем, и тогда врачи предлагают стимуляцию — слабые электрические импульсы, которые возвращают ритм. Но у каждого мозг устроен по-своему: одному подходит один способ, другому — второй.

Современные радиотелескопы еженощно генерируют миллионы снимков далёких галактик — гигантских звёздных систем, связанных гравитацией. Ручная сортировка такого объёма данных невозможна.

Родинка на коже похожа на мозаику из цветных кусочков. Каждый кусочек — это маленький участок снимка, где цвет и текстура почти не меняются. Такие кусочки называют суперпикселями. Если соединить их линиями, получится сеть, похожая на карту метро: станции — кусочки, а линии — связи между ними. Вес каждой линии показывает, насколько сильно связаны два кусочка.

Когда лекарства не помогают при эпилепсии, врачи предлагают операцию: удалить участок мозга, где рождаются приступы. Но заранее сказать, поможет ли это конкретному человеку, сложно. Снимки МРТ до операции показывают только текущее состояние, а не то, как мозг изменится после вмешательства. Новый подход работает как библиотекарь, который ищет похожие истории болезни.

В лаборатории, где изучают кристаллы, лаборант смотрит на экран с россыпью светлых пятен и медленно поворачивает образец, добиваясь, чтобы пятна сложились в симметричный узор. Эта работа похожа на настройку старого радиоприёмника: крутишь ручку, пока шум не сменится чистым сигналом. Теперь эту ручку может крутить машина.

Тёплый воздух над асфальтом дрожит, выдавая нагретую поверхность. Похожим образом работает медицинский тепловизор: кожа над опухолью часто чуть теплее здоровой — всего на доли градуса. Уловить эту разницу и понять, опасна ли она, пытаются компьютерные программы. Но обычные нейросети не всегда справляются, потому что тепловые узоры слишком тонкие и запутанные.

Микроскопический снимок ткани — как карта города: улицы, дома, парки. По такой карте опытный глаз может многое сказать о жизни района. Но что если по карте можно предсказать, в каких домах сегодня шумно, а в каких тихо? В биологии похожая задача: по обычному снимку ткани, окрашенному стандартным красителем (гематоксилином и эозином), учёные хотят понять, какие гены активны в каждой точке.

Врач разглядывает снимок мозга: где-то в переплетении тканей прячется опухоль. Один взгляд выхватывает мелкие пятна и границы, другой — общую форму и расположение. Человек совмещает оба, но на сотнях снимков это утомительно. Новая программа делает то же самое автоматически. Одна её часть работает как лупа: скользит по изображению и собирает мелкие детали — текстуру, края, локальные изменения.

Рентгеновский снимок колена с артрозом похож на карту местности, где дороги сузились, а на обочинах выросли бугры. Врачи смотрят на эту карту и ставят оценку от нуля до четырёх — насколько сильно изношен сустав. Проблема в том, что два опытных специалиста часто видят карту по-разному: один поставит тройку, другой четвёрку.

Врач редко ставит диагноз по одному беглому взгляду на снимок. Он всматривается, приближает, сравнивает с атласом, листает статьи. Нейросети до недавнего времени работали иначе: увидела картинку — сразу выдала текст. Авторы новой работы решили дать модели время и инструменты. Нейросеть GAZE работает как внимательный радиолог.

Свет, проходя через мутную среду вроде молока или живой ткани, рассеивается во все стороны. Восстановить, где именно свет поглощался сильнее, — всё равно что по луже на асфальте угадать форму упавшего предмета. Оптическая томография решает эту задачу, но обычно требует больших вычислительных ресурсов.

Биолог смотрит в микроскоп на десятки крошечных клеточных шариков — сфероидов. Из них позже вырастут миниатюрные подобия органов. Задача похожа на работу пекаря, который оценивает, ровно ли поднялось тесто в каждой формочке. Только вместо формочек — питательная среда, а вместо теста — живые клетки.

Спутник MethaneSAT высматривает утечки метана — газа, который невидим для человеческого глаза, но обладает мощным парниковым эффектом. Его главный инструмент — спектрометр, прибор, регистрирующий тончайшие изменения в спектре света, прошедшего сквозь атмосферу.

Корректор проверяет рукопись перед печатью. Он не знает всех возможных ошибок, но отлично помнит, как выглядит безупречный текст. Увидев странный символ или размытое слово, он сразу обводит это место красным. Примерно так работает новая программа для проверки медицинских снимков. Исследователи научили нейросеть распознавать аномалии на снимках МРТ таза и мозга.

Сквозь рябь на воде камешки на дне бассейна кажутся сдвинутыми и искажёнными. Похожим образом гравитация невидимой тёмной материи искривляет свет далёких галактик — это явление называют слабым линзированием. Но рябь в бассейне живёт только на поверхности, а тёмная материя распределена в объёме, на разной глубине.

Солнечная корона — внешняя атмосфера Солнца, разогретая до миллионов градусов, — излучает преимущественно в ультрафиолетовом диапазоне. Однако эти лучи почти полностью поглощаются земной атмосферой и не достигают поверхности. Прямые спутниковые снимки короны в ультрафиолете стали доступны лишь с 1990-х годов.

Инженеры разрабатывают сплав для солнечных концентраторов, вводя в матрицу твёрдые дисперсные частицы — упрочняющую фазу, подобную изюму в тесте, которая позволяет материалу сохранять структурную стабильность при экстремальных температурах. Если эти включения оказываются чрезмерно крупными, в материале возникают трещины.

Мозг не учит каждую задачу с нуля — он переносит опыт с одного дела на другое. Но как узнать, какие задачи действительно родственны? Нейробиологи придумали остроумный ход: дать искусственной сети «подсмотреть» активность мозга во время одной задачи и попробовать предсказать активность во время другой. Если получается хорошо — значит, задачи близки.