искусственный интеллект в медицинской визуализации

Старый матрас перестаёт пружинить: наполнитель сбивается в комки, а пружины теряют упругость. Примерно так же меняется яичник женщины с возрастом, только вместо наполнителя в нём разрастается жёсткая соединительная ткань, а роль пружин играют клетки, поддерживающие яйцеклетки. Учёные впервые смогли измерить эту жёсткость у живых женщин и связали её с шансами на успешное ЭКО.

В комнате смеха человек подходит к кривому зеркалу и видит себя то карликом, то великаном. Примерно так же ведут себя популярные модели машинного обучения, когда их просят угадать биологический возраст по анализам крови или снимкам мозга: они растягивают возраст на краях, занижая его у пожилых и завышая у молодых.

Радиационный онколог смотрит на снимок брюшной полости и мысленно обводит область, которую нужно облучить. Эта область не видна как отдельный орган: её границы заданы протоколом, а не тканями. Поэтому врачу нужна карта окрестностей, чтобы не задеть здоровые структуры. Модель nnU-Net начинает с той же задачи.

Два снимка одного мозга, сделанные в разное время, похожи на фотографии одного дома до и после ремонта. Чтобы понять, что изменилось, их накладывают друг на друга и анализируют различия. Но томограф — не идеальная камера: он сам добавляет искажения, будто снимок сделан через слегка неровное стекло. Раньше программы не различали, какие изменения настоящие, а какие — от аппарата.

Врач годами учится распознавать болезни по снимкам мозга. Сначала он отлично видит признаки старения, потом осваивает опухоли — и вдруг начинает путаться в том, что знал раньше. Примерно так же ведут себя и многие нейросети: новые знания затирают старые. Это явление называется катастрофическим забыванием — когда модель, обученная на новой задаче, теряет точность на предыдущих.

Четыре слабых штриха на снимке — всё, что видит астроном. Так скульптор по четырём теням восстанавливает форму невидимого стекла. Около ста лет назад Альберт Эйнштейн предсказал, а Фриц Цвикки предложил использовать гравитационные линзы — естественные телескопы из тёмной материи, усиливающие свет далёких…

Чтобы передать форму статуи в мельчайших деталях, можно разбить её на миллионы крошечных кубиков и описывать каждый — долго, тяжело, и память компьютера трещит по швам. Именно так обычно работают с трёхмерными медицинскими снимками: КТ или МРТ — это огромный массив таких кубиков (вокселей), и чтобы создать или улучшить изображение, машине приходится перелопачивать их все.

Связь со спутником напоминает попытку расслышать шёпот в бурю: полезный сигнал тонет в хаосе помех. Инженеры разработали алгоритм на основе искусственного интеллекта, который функционирует непосредственно на борту спутника и при минимальном энергопотреблении распознаёт искажения точнее традиционных методов.

Когда в подвале прорывает трубу, сантехник действует по отлаженному алгоритму: локализует утечку, замеряет напор, диагностирует причину, накладывает заплатку и проверяет, устранена ли течь. Тот же рецепт — стандартная модель улучшения процессов DMAIC (Define, Measure, Analyze, Improve, Control) — предлагается для борьбы с эпидемиями.

Ультразвуковое исследование основано на отражении звуковых волн от тканей: датчик посылает импульсы, а эхо, вернувшись с разной задержкой и интенсивностью, формирует контуры органов. Однако на снимке яичника трудно отличить безобидную кисту — полость, заполненную жидкостью, — от твёрдого ракового узла. Даже специалисты проводят границы по-разному, а это напрямую влияет на выбор лечения.

Ребёнок, осваивая незнакомую квартиру, ползает от предмета к предмету и запоминает, что видно из каждого угла. Так мозг строит мысленную карту — внутреннюю модель пространства. Алгоритм gradCSCG действует по тому же принципу: он получает видеопоток с камеры и самостоятельно рисует схему помещения, опираясь лишь на смену картинок.

Магнитно-резонансные томограммы простаты зачастую напоминают снимки через грязное стекло: присутствует шум, контуры размыты, а геометрия искажена из-за неоднородностей магнитного поля. Исследователи проверили, что произойдёт, если «помыть» это окно: удалить артефакты, скорректировать искажения и точно совместить разные импульсные последовательности.

Сборка светового чипа похожа на игру, где нужно провести луч через лабиринт из крошечных зеркал и светоделителей. Каждый такой элемент работает как стрелка на железной дороге: он либо пропускает свет прямо, либо направляет на соседний путь. Задача — получить на выходе строго определённый световой узор, потратив как можно меньше «стрелок». Обычно инженеры годами ищут самый короткий маршрут для каждой задачи.

Электронный микроскоп — гигантский орган: вместо труб — электромагнитные линзы, вместо воздуха — поток ускоренных электронов. Раньше он лишь рисовал немые фрески атомного мира, обрекая учёных на изнурительную расшифровку.

Вселенной меньше миллиарда лет, а в её центрах уже восседают чёрные дыры с массой в миллиард солнц. Согласно общепринятой картине, они росли, жадно поглощая вещество, но расчёты показывают, что «кормёжка» должна была идти почти непрерывно, а вспышки видимых квазаров длятся считанные миллионы лет. Куда же девается всё остальное аккреционное топливо?

Каждую неделю врачи задают ИИ-помощникам миллионы вопросов у постели больного. Но проверяют эти инструменты обычно на экзаменационных задачках, а не на том, что спрашивают в реальной клинике. Группа исследователей решила это исправить. Они собрали 620 настоящих вопросов от докторов из 30 специальностей — от кардиологии до онкологии.

Повар годами оттачивает умение сводить рецепт к трём-четырём сущностям и по ним воссоздавать блюдо. Если состав знаком, на тарелке ожидаемый обед. Чужеродный ингредиент нарушает компрессию, и получается не пойми что. Квантовый сжиматель действует так же с медицинскими снимками.

Представьте, что обычный фоторедактор умеет выделять объекты на снимке, а нейросеть ZooBot:3D работает с далёкими галактиками как картограф, рисующий карту неизведанной земли. Тысячи добровольцев вручную обвели спиральные рукава и перемычки — центральные звёздные полосы — на астрономических изображениях.

Проектирование машин сродни кулинарии: необходимо точно знать, где «тесто» порвётся. Классические численные методы, например, анализ методом конечных элементов, проверяют каждую точку детали часами — это как обмерять всю кастрюлю, чтобы ручка не отвалилась.

Один снимок камеры хранит одновременно обычную картину и скрытую карту того, как свет распространялся волнами через сцену. Это становится возможным благодаря квантовой запутанности — явлению, при котором две частицы оказываются связаны так, что состояние одной мгновенно определяет состояние другой, независимо от расстояния.

Водопроводчик прочищает засор в узкой извилистой трубе — на ощупь, не видя её изнутри. Примерно так чувствует себя хирург во время механической тромбэктомии (операции по удалению сгустка крови из сосуда мозга). Времени в обрез, а каждое движение может либо спасти человека, либо повредить стенку сосуда.

Рентгеновский снимок колена с артрозом похож на карту местности, где дороги сузились, а на обочинах выросли бугры. Врачи смотрят на эту карту и ставят оценку от нуля до четырёх — насколько сильно изношен сустав. Проблема в том, что два опытных специалиста часто видят карту по-разному: один поставит тройку, другой четвёрку.

Два специалиста смотрят на один и тот же снимок молочной железы. Один — опытный врач, второй — программа с искусственным интеллектом. Иногда их мнения совпадают, иногда расходятся. От того, насколько часто они соглашаются друг с другом, зависит, насколько точно они вместе отличат здоровую ткань от опухоли.

Если показать одну и ту же фотографию кота двум разным нейросетям, они часто приходят к похожему выводу: «кот». Но если спросить их подробнее, ответы могут разойтись. Одна модель обратит внимание на усы, другая — на окрас, третья — на позу. Получается, что даже внутри «зрительного» мира нейросетей нет полного единства. Учёные придумали способ измерить это единство для каждой картинки отдельно.

Тёплый воздух над асфальтом дрожит, выдавая нагретую поверхность. Похожим образом работает медицинский тепловизор: кожа над опухолью часто чуть теплее здоровой — всего на доли градуса. Уловить эту разницу и понять, опасна ли она, пытаются компьютерные программы. Но обычные нейросети не всегда справляются, потому что тепловые узоры слишком тонкие и запутанные.

Два почти одинаковых замка́ вскрывает одна и та же отмычка. Внешне они похожи, но внутри механизм разный. Примерно так же выглядят два главных типа немелкоклеточного рака лёгкого — аденокарцинома и плоскоклеточный рак. Под микроскопом их можно спутать, а лечение требуется разное. Тут-то и приходит на помощь квантовая «лупа».

Обычная камера ловит свет, отражённый от предметов, и по нему строит картинку. Но если предмет скрыт за препятствием или не отражает свет, на помощь приходят радиоволны: они проходят сквозь стены и туман, а компьютер по рассеянным сигналам восстанавливает изображение. Проблема в том, что для чёткой картинки нужно много разных сигналов, а значит — широкий диапазон частот, дорогой и неудобный.

Сердце — не идеальный шар, его форма меняется от удара к удару. Чтобы построить точную трёхмерную копию для компьютерной модели, обычно делают десятки срезов на магнитно-резонансном томографе. Но это как собирать арбуз из тонких ломтиков: чем меньше срезов, тем больше догадок. Новый подход учит нейросеть понимать форму сердца по редким контурам.

Инсульт бьёт внезапно, но перед ударом мозг подаёт тихие сигналы. Сосуды перестают плавно регулировать поток крови — как термостат, который начинает то перегревать, то охлаждать комнату без причины. Эту разбалансировку не видно на обычных носимых устройствах, но её можно уловить, если слушать сразу несколько телесных ритмов.

Врач смотрит на серо-белое пятно на экране. Это лицо ещё не родившегося ребёнка. Одна тень в нужном месте — и можно вовремя подготовить операцию. Но тень видна не всем: расщелина губы или нёба встречается редко, и молодой специалист может ни разу не увидеть её за годы работы. Нейросеть учили на 45 139 УЗИ-снимках от 9 215 плодов из 22 больниц.

Электрокардиограмма — это как запись шума мотора: по ней опытный механик слышит, когда что-то не так. УЗИ сердца показывает сам мотор изнутри, но аппарат дорог, а специалистов мало. Новая модель соединяет оба подхода: она учится на миллионах обычных кардиограмм и подсказывает, у кого сердце уже изменилось, хотя человек этого не чувствует.

Детектор частиц на Большом адронном коллайдере работает годами без остановки. Его датчики каждую секунду выдают горы данных, и среди них нужно быстро заметить сбой — например, перегрев или сломанный канал. Раньше за этим следили простые правила, но они часто ошибались.

Мозг — это не один большой компьютер, а скорее оркестр, где разные группы музыкантов играют свои партии. Сети нейронов, отвечающие за память, внимание или эмоции, постоянно переговариваются. При болезни Альцгеймера этот оркестр начинает фальшивить: одни группы замолкают, другие играют невпопад. Но как это увидеть на снимке мозга? Учёные придумали хитрый способ.

Электрокардиограмма — это как длинная лента, на которой сердце оставляет свой почерк. Врач разглядывает её, чтобы заметить сбои ритма, но когда запись длится несколько суток, лента растягивается на километры. Глаз устаёт, внимание рассеивается, и редкие, но опасные нарушения могут ускользнуть.

Белки — это молекулярные машины жизни. Они складываются в сложные трёхмерные формы, как лист бумаги в оригами. Но если бумагу сложить немного иначе, получится другая фигурка. Так и белок может принимать несколько форм, и от этого зависит его работа. Обычно учёные сравнивают белки по их последовательностям — цепочкам аминокислот.

Капля крови попадает на крошечный датчик, и через минуту врач уже знает, сколько в ней разных защитников организма. Так выглядит будущее анализа крови, которое приблизили датские инженеры. Вместо обычного микроскопа с линзами они собрали безлинзовый прибор.

Офис, где сотрудники обмениваются записками. Пока задач мало, каждый работает сам по себе. Но приходит срочный заказ — и одни отделы начинают активно слать сообщения другим, а общая работа становится слаженнее. Примерно так ведет себя мозг, когда мы пытаемся удержать в уме несколько вещей одновременно. Ученые нашли способ заглянуть в эту «переписку».

Аневризма — это слабое место на стенке сосуда, которое выпячивается, как пузырь на старой велосипедной камере. Если пузырь лопнет, кровь хлынет в мозг. Врачам нужно понять, насколько стенка аневризмы напряжена, чтобы решить, оперировать или наблюдать. Раньше для этого строили компьютерную модель кровотока: задавали форму сосуда, давление, вязкость крови — и считали часами на мощных машинах.

В тёмной комнате на столе стоят лазерная указка, кусок стекла с тканью и обычная камера от телефона. Свет проходит сквозь образец, и на снимке появляются не клетки, а узор из светлых и тёмных полос — как тень от листвы на стене. По этому узору компьютер учится угадывать, сколько белка HER2 на поверхности раковых клеток груди. Белок HER2 — как дверная ручка, за которую лекарство может ухватиться.

Детектив ищет преступника по картотеке, но портреты в ней перемешаны. Обычно он ждёт человека с седой бородой, а преступник — молодой и без бороды. Так и врачи часто не узнают болезнь Альцгеймера у тех, у кого она проявляется необычно: не потерей памяти, а проблемами со зрением или речью. Болезнь Альцгеймера обычно связывают с накоплением в мозге двух белков — амилоида и тау.