регуляризация

Камень падает в спокойную воду — по поверхности расходятся круги. Похоже ведёт себя чёрная дыра, когда в неё что-то падает или она сливается с другой. Дыра начинает колебаться, и эти колебания уходят в пространство гравитационными волнами. Астрофизики называют этот процесс «звоном» чёрной дыры.

Алгоритм улучшения фотографий можно представить как навигатор, который шаг за шагом ведёт размытое изображение к чёткости. Он удаляет шум — случайные искажения сигнала и дефекты, перемещаясь от пикселя к пикселю по своеобразной «карте», заложенной при обучении.

Стандартный подход к одному классу задач машинного обучения напоминает пружину, которую растянули и забыли отпустить: стандартные методы искусственно раздувают размер задачи, превращая вычисления в чёрную дыру для памяти и времени.

Классическая радиоинтерферометрия требует от антенн когерентного приёма: они регистрируют не только амплитуду (громкость), но и фазу волны — её мгновенное положение в цикле. Малейшая рассинхронизация — и направление на источник размывается. Новый метод отказывается от фазовой информации и опирается исключительно на силу сигнала.

Нейтронные звёзды — последние сгустки видимой материи перед падением в чёрную дыру. В их недрах материя сжата до триллионных плотностей. Здесь ядерные силы и гравитация сплетаются в экзотическую субстанцию, недоступную никакому земному ускорителю.

Снежинка растёт, нефтяное пятно растекается, толпа движется — уравнения для каждого случая свои. Но финал часто один и тот же: форма, скорость, узор подчиняются простой, повторяющей себя на разных масштабах схеме. Это и есть универсальность — когда за деталями прячется общий закон.

На экране — результат сложнейшего моделирования: две планеты столкнулись, разлетается ударная волна. Пара кликов в редакторе — и резкие тени становятся мягче, шум сглаживается, фон темнеет. Такая цифровая ретушь (правка изображения для улучшения вида) давно вошла в арсенал учёных.

Золото не лежит на поверхности — оно спрятано в тоннах пустой породы. Чтобы добыть грамм драгоценного металла, старатели просеивают кубометры грунта. Примерно так же обучаются современные большие языковые модели: тысячи ответов-кандидатов прогоняются через дорогую модель-оценщик (оракул — модель, дающая точные оценки), чтобы выбрать один — лучший.

Статистические модели — это попытка натянуть идеальную математическую паутину на неровный ландшафт данных. Когда модель сопротивляется, она издаёт напряжение, но мы привыкли его игнорировать. Исследователи часами вглядываются в графики остатков, пытаясь угадать, где модель «трещит по швам». Сквилер переводит это сопротивление в звук.

Лабораторный робот отсчитывает молекулы — и сбивается. В одной пробирке 0, в другой 12, в третьей 3, хотя на самом деле везде примерно поровну. Такие «сырые» цифры — обычное дело в биологии: секвенирование ДНК, подсчёт видов в пробе воды, активность генов. Данных много, но они разрежены и разбросаны сильнее, чем допускает простая случайность.

Чёрная дыра — не просто тёмное пятно в небе. Это сложный объект, чьи свойства зависят от геометрии пространства-времени вокруг него. В пяти измерениях такие объекты могут принимать причудливые формы: не только шары, но и кольца, и даже «линзы» — как если бы капля чернил в воде могла застыть не просто шаром, а бубликом или двояковыпуклым диском.

Социальная сеть похожа на город: есть районы-гиганты и крошечные переулки. Когда алгоритм ищет в ней сплочённые компании, он часто выделяет пару огромных групп и много мелких осколков. Но заказчику — например, муниципалитету — нужны районы примерно одного размера, чтобы равномерно распределить поликлиники или школы.

Камера делает снимок, но матрица шумит, оптика размывает, а часть пикселей засвечена. Восстановить исходную картинку — всё равно что угадать мелодию по испорченной пластинке: вариантов много, и какой из них правдив, неясно. В науке такие задачи называют обратными, и они повсюду — от медицинских томографов до радиотелескопов.

Программист пишет код, запускает, видит ошибку и правит. Теперь этот процесс можно поручить самой программе. Машинное обучение уже умеет улучшать алгоритмы, но обычно требует много данных и готовых примеров.

Нейросеть можно сравнить с общежитием, где каждому жильцу полагается своя комната. Обычно каждый признак в данных занимает отдельный нейрон, и обучение идёт по очереди: сначала один признак, потом другой. Это медленно и зависит от того, какие именно данные попались. Но если разрешить нескольким признакам жить в одной комнате — наложить их друг на друга, — картина меняется.

Компьютерная томография — это как рентген, который делает сотни снимков с разных сторон и собирает из них объемную картинку тела. Но каждый снимок — это небольшая доза радиации, и врачам нужно знать, сколько ее получил каждый орган. Сейчас это часто оценивают грубо, по средним таблицам, а не по конкретному пациенту. Исследователи научили нейросеть предсказывать дозу для каждого органа.

Кирпичи разных размеров, уложенные в одну стену, оставляют в ней трещины. Примерно так же ведут себя атомы в жаропрочных сплавах: когда два разных металла образуют общую кристаллическую решётку, а их атомы чуть различаются по размеру, внутри материала появляется напряжение. Оно накапливается и в итоге разрушает сплав при нагреве.

Переводчик в шумном зале старается расслышать речь сквозь гул голосов. Обычный метод — заучить набор фраз и подставлять их по шаблону. Но если шум усиливается, шаблон ломается. Адаптивная нелинейная векторная авторегрессия работает иначе: она учится понимать смысл речи, отфильтровывая помехи.

Лаборатория механических испытаний похожа на кухню, где повар пробует блюдо, чтобы угадать рецепт. Для анизотропного материала — того, что жёстче вдоль волокон, чем поперёк, — одной пробы мало. Нужны три, а то и больше отдельных тестов, каждый со своим образцом. Инженеры годами оттачивали формы этих образцов вручную, полагаясь на интуицию и опыт. Теперь появился инструмент, который делает это автоматически — и лучше.

Переводчик, который научился исправлять собственные оговорки, работает точнее. В мире прогнозирования шумных процессов эту роль берёт на себя новый метод: резервуарный компьютер, который на каждом шаге добавляет к своему прогнозу случайную поправку. Раньше такие системы быстро сбивались, потому что шум копил ошибки, как переводчик, который не замечает своих оговорок, и к концу речи смысл терялся.

Представьте переводчика, который отвлекается на каждый шорох в зале. Чем больше шорохов, тем больше ошибок в переводе, хотя смысл речи не менялся. Так и с данными: если измерения идут неравномерно, стандартные инструменты анализа начинают «слышать» изменения, которых в самом процессе не было.

Переводчик, который отвлекается на каждый шорох в зале, к концу совещания начинает путаться в словах. Его уверенность в собственной правоте растёт, а точность падает. Примерно так ведут себя плохо откалиброванные вероятностные прогнозы: модель заявляет высокую вероятность события, но реальность с ней не согласна.