классификация изображений

Переводчик на переговорах не вслушивается в каждое слово: он ловит смысл целых фраз. В электронной микроскопии похожая задача: нужно понять, какой толщины кристалл и под каким наклоном он стоит в пучке, а на руках только дифракционная картина — узор из тысяч светлых и тёмных пятен.

Ночью на вершине вулкана шесть телескопов смотрят на одно и то же пятнышко света. Каждый ловит свою копию волны, и если соединить их сигналы, получится изображение, которое не под силу ни одному инструменту в одиночку. Но есть подвох: свет, пойманный разными станциями, нельзя просто сложить, как фотографии. Его нужно измерить, и от способа измерения зависит, насколько чёткой выйдет картинка.

Заблудиться в зеркальном зале проще простого: каждая стена отражает другую, и кажется, что ты уже был здесь. Примерно так же путается мозг, когда вокруг много похожих мест. Нейроны — клетки, отвечающие за карту пространства, — могут выдать одинаковый сигнал для двух разных углов комнаты.

Галактика NGC 4254 удалена от центра скопления Девы на полтора миллиона световых лет. Она тащит за собой длинный шлейф остывающего водорода — признак того, что на полном ходу врезается в раскаленный газ. Потеря холодного топлива гасит рождение новых звезд.

Четыре слабых штриха на снимке — всё, что видит астроном. Так скульптор по четырём теням восстанавливает форму невидимого стекла. Около ста лет назад Альберт Эйнштейн предсказал, а Фриц Цвикки предложил использовать гравитационные линзы — естественные телескопы из тёмной материи, усиливающие свет далёких…

Складывая пазл Вселенной, астрономы привыкли, что каждая новая деталь должна точно ложиться в уже сложенную картину. Но иногда попадаются кусочки, которые словно вырезаны из другой головоломки. Двадцать тысяч активных ядер галактик — и одиннадцать процентов из них нейросеть уверенно отбрасывает как чужеродные.

Оптический фон неба — это космический палимпсест, где свет миллиардов неразрешённых галактик накладывается слоями, соответствующими разным эпохам. До сих пор мы различали только самые яркие «буквы» — отдельные звёзды и близкие галактики.

Обычный радар фиксирует дрон лишь как точку на экране — безликий маркер в пространстве. Новый метод превращает радиоэхо в объёмную скульптуру: отражённый сигнал обрисовывает форму, наклон и характер движения объекта.

Радиосигналы в замкнутом пространстве ведут себя подобно акустическим волнам в концертном зале: многократно отражаясь от стен, мебели и других поверхностей, они формируют уникальную интерференционную картину — своего рода безмолвную «мелодию» каждого места. Смартфон, оснащённый приёмником, подобно чуткому уху, регистрирует эту картину через анализ помех и искажений сигнала.

Однопиксельная камера работает подобно художнику, создающему картину через трафарет с множеством отверстий. В каждом кадре на единственный датчик попадает лишь часть светового потока, модулированная маской — пространственным модулятором света, — а затем компьютер реконструирует целостное изображение, собирая эту мозаику с помощью вычислительных алгоритмов.

Ребёнок, осваивая незнакомую квартиру, ползает от предмета к предмету и запоминает, что видно из каждого угла. Так мозг строит мысленную карту — внутреннюю модель пространства. Алгоритм gradCSCG действует по тому же принципу: он получает видеопоток с камеры и самостоятельно рисует схему помещения, опираясь лишь на смену картинок.

Медицинские снимки, по сути, представляют собой карты плотности тканей: яркость каждого пикселя кодирует локальные свойства среды, подобно тому как фотометрия — раздел оптики, измеряющий интенсивность света — регистрирует силу излучения.

Исследователи отобрали 16 повседневных действий — от мытья посуды до приседаний — и разложили движения на элементарные составляющие, подобно тому, как спектроскоп разделяет свет на спектр частот. Они сравнили три подхода к анализу и обнаружили неожиданный ключ к распознаванию: для идентификации действия достаточно усреднённого стоп-кадра, то есть статичной позы.

Вглядитесь в ночное небо — перед вами не россыпь огней, а многослойная рукопись. Под яркими чернилами звёзд и галактик проступает блёклый, почти стёртый текст. Это послание тёмной материи, начертанное гравитационным линзированием: невидимые массы искажают свет далёких галактик, оставляя едва заметные водяные знаки на космическом пергаменте.

С тех пор как Эйнштейн предсказал гравитационное линзирование, а гравитационные волны были впервые услышаны детекторами LIGO, физики мечтали поймать линзированное эхо — повторяющийся сигнал одного слияния, размноженный гравитацией массивного тела.

Спустя почти век после того, как Фриц Цвикки заподозрил неладное в движении галактик скопления Волос Вероники, а Вера Рубин измерила звёздные скорости в спиральных рукавах, природа тёмной материи остаётся одной из самых мучительных загадок.

Инженеры разрабатывают сплав для солнечных концентраторов, вводя в матрицу твёрдые дисперсные частицы — упрочняющую фазу, подобную изюму в тесте, которая позволяет материалу сохранять структурную стабильность при экстремальных температурах. Если эти включения оказываются чрезмерно крупными, в материале возникают трещины.

Представьте, что обычный фоторедактор умеет выделять объекты на снимке, а нейросеть ZooBot:3D работает с далёкими галактиками как картограф, рисующий карту неизведанной земли. Тысячи добровольцев вручную обвели спиральные рукава и перемычки — центральные звёздные полосы — на астрономических изображениях.

Пространство-время часто представляют как гладкую ткань. Но на самом микроскопическом уровне эта ткань может оказаться не сплошной, а состоящей из отдельных «атомов» — событий, связанных причинностью. Такая картина мира называется теорией причинных множеств.

Художник пишет портрет мазок за мазком, а потом ему предлагают фотоаппарат со вспышкой — один щелчок, и готово. Примерно так выглядит переход от многошаговых моделей к одношаговым в создании изображений галактик. Обычные нейросети для синтеза картинок работают как художник-акварелист: наносят слой, размывают, добавляют детали.

Вы пробуете блюдо в ресторане, но меню не видели. Задаёте официанту вопросы — слишком солёное? с какими специями? — и по ответам пытаетесь угадать, что за повар его готовил. Примерно так же исследователи изучают современные нейросети, когда доступ к ним есть только через API (программный интерфейс, где можно задать вопрос и получить ответ, но нельзя заглянуть внутрь).

Биолог смотрит в микроскоп на десятки крошечных клеточных шариков — сфероидов. Из них позже вырастут миниатюрные подобия органов. Задача похожа на работу пекаря, который оценивает, ровно ли поднялось тесто в каждой формочке. Только вместо формочек — питательная среда, а вместо теста — живые клетки.

Астрономы время от времени фиксируют межзвёздные объекты — каменные глыбы или кометные ядра, прибывшие из других звёздных систем. Большинство из них выглядят заурядно, но некоторые ставят в тупик необычной формой, аномальной скоростью или переменным блеском.

Представьте карту города: перекрёстки — это узлы, улицы — связи между ними. Чтобы алгоритм мог анализировать такую структуру, каждому узлу необходимо присвоить метку. Классический подход, основанный на стандартной модели, действует прямолинейно — присваивает узлам простые ярлыки, подобно номерам домов.

Родинка на коже похожа на мозаику из цветных кусочков. Каждый кусочек — это маленький участок снимка, где цвет и текстура почти не меняются. Такие кусочки называют суперпикселями. Если соединить их линиями, получится сеть, похожая на карту метро: станции — кусочки, а линии — связи между ними. Вес каждой линии показывает, насколько сильно связаны два кусочка.

Галактика — это не просто россыпь звёзд. В центре многих из них горит нечто ярче миллиардов солнц: раскалённый газ, падающий в чёрную дыру. По цвету этого свечения можно понять, что за жизнь ведёт галактика — тихо рождает звёзды или бурно поглощает вещество.

Кардиограмма — это не просто волнистая линия на бумаге. В ней, как в дневнике, записано состояние всего сердца: и ритм, и толщина стенок, и намёки на будущие проблемы. Но сейчас программы, которые учатся читать этот дневник, тренируются на очень узких задачах — в основном на поиске нарушений ритма. Это как учить человека понимать книгу, показывая ему только список опечаток.

Магнитная плёнка, разбитая на крошечные ячейки-стрелки, ведёт себя как толпа на площади. Пока холодно, все стрелки смотрят в одну сторону — идеальный порядок. Нагрейте плёнку, и стрелки начнут метаться, как прохожие, потерявшие цель. Где-то между этими крайностями есть момент, когда система перестаёт быть однородной, но ещё не рассыпается в случайный шум.

Масс-спектрометр работает как дробилка для молекул: он разбивает вещество на заряженные осколки и взвешивает каждый. По этому «отпечатку» химики определяют, что было в образце. Но если молекула новая и её осколки не совпадают с известными, прибор показывает лишь набор пиков — а что за ними стоит, непонятно. Авторы статьи предложили обходной путь.

Орнитолог в джунглях слышит трель, но птица прячется в листве. Хорошо бы тут же получить её портрет — хотя бы из базы фотографий. Обычно для этого нужны тысячи пар «запись пения + снимок той же птицы», а собирать их дорого и долго. Авторы пошли в обход: взяли две готовые модели. Одна понимает связь между картинкой и текстом (например, «красная грудка, чёрная шапочка» → фото зарянки).

Рентгеновский телескоп на орбите годами записывал, как светятся двойные системы, где вокруг чёрной дыры или нейтронной звезды крутится обычная звезда. Вещество с соседки падает на компактный объект, разогревается до миллионов градусов и испускает рентген.

Массивное скопление галактик своим гравитационным полем искривляет пространство-время, действуя как гигантская линза: она фокусирует и усиливает свет далёких объектов — эффект, предсказанный общей теорией относительности Эйнштейна.

Графы считаются изоморфными — структурно тождественными, — если у них совпадает «рельеф». Представьте две топографические карты с горами и долинами: даже при разной художественной прорисовке высоты и крутизна склонов могут быть геометрически теми же.

Электрокардиограмма похожа на партитуру, где каждая нота — удар сердца. Врач слышит мелодию и замечает фальшивые ноты — аритмию. Но слушать партитуру часами утомительно, поэтому у кровати больного ставят умный датчик.

Запутанные фотоны — квантовые частицы света, связанные так, что состояние одного мгновенно определяет состояние другого на любом расстоянии. Раньше для наблюдения этой связи требовались детекторы, регистрирующие отдельные фотоны в условиях, близких к абсолютной темноте.

Обычно, чтобы охарактеризовать квантовое состояние света, требуется провести десятки сложных измерений — это похоже на попытку открыть замок, перебирая все ключи в связке. Новая модель искусственного интеллекта действует иначе: представьте универсальный ключ, который после лёгкой подгонки отпирает множество «замков» — от простых до самых хитроумных квантовых состояний.

Астрономы восстанавливают историю галактик по их визуальным портретам, подобно тому, как геолог читает прошлое планеты по слоям горных пород.

Оптик крутит оправу, ловит фокус, и размытое пятно становится чёткой картинкой. Примерно так же работает новый алгоритм GOAL: он поворачивает облако данных, сжимает лишние измерения и наводит резкость на то, что действительно важно. Когда признаков больше, чем наблюдений, стандартные методы напоминают попытку разглядеть лицо через запотевшее стекло: шум забивает сигнал. GOAL действует иначе.

Два снимка одного и того же места — один сделан утром с дрона, другой вечером со спутника. На первом — тени от деревьев, на втором — блики на воде. Это как два рассказа об одном событии на разных диалектах: слова похожи, но грамматика разная. Совмещение изображений — это переводчик, который находит общий язык между такими кадрами. Переводчик не просто подгоняет слова — он ищет опорные точки.