Статистическое машинное обучение stat.ML

Кукловод дёргает за нити, и марионетка пляшет. В предсказании будущего по временным рядам роль кукловодов играют немногие переменные, которые действительно управляют системой. Остальные показатели лишь повторяют их движения, создавая видимость сложности. Задача в том, чтобы найти этих кукловодов и следить только за их пальцами, а не за всей сценой.

Переводчик сидит в зале, где говорят на незнакомом языке. Слов он не понимает, зато слышит, как меняется тон: то спокойный и ровный, то взволнованный и резкий. По одной интонации он догадывается, о чём идёт речь. Примерно так поступил алгоритм, которому дали тридцать шесть лет наблюдений за экваториальной частью Тихого океана: неделю за неделей, ветер и температуру воды.

Каждое утро в шести американских городах — от Чикаго до Миннеаполиса — краны открываются одновременно с включением кофеварок. Вода и электричество текут по трубам и проводам, как два сообщающихся сосуда в теле города. Раньше коммунальные службы следили за этими потоками порознь, будто у организма нет общей системы кровообращения.

Фермер в Айове смотрит на календарь: сеять сейчас или подождать? Через месяц может ударить жара, а может зарядить дождь. Синоптики разводят руками: прогноз на две недели ещё держится, на сезон — уже нет, а между ними провал. Атмосфера слишком быстро меняется, чтобы помнить вчерашний день, а океан слишком медлителен, чтобы успеть на помощь.

Переводчик, выучивший язык по тысячам книг, переводит разговор, не отвлекаясь на шум в зале. Так и нейросеть, обученная на 127 137 годах модельного климата, за доли секунды выдаёт прогноз на зиму — быстрее и точнее, чем громоздкие динамические системы.

Тёплое течение Эль-Ниньо появляется в тропической части Тихого океана раз в несколько лет и перекраивает погоду по всей планете: где-то сушит поля, где-то заливает улицы. Метеорологи давно пытаются поймать его заранее, но океан слишком хитёр: причина явления прячется не в одной точке, а в перекличке между регионами, которые разделяют тысячи километров.

Океан похож на гигантскую паутину, где каждая нить соединяет далёкие точки воды. Когда в одном месте теплеет, через тысячи километров меняются ветры и течения. Нейросеть из этой работы впервые сама сплела такую паутину, чтобы предсказывать Эль-Ниньо.

Долгий разговор двух людей можно сжать до нескольких ключевых фраз, которые сохранят всю суть. Именно так работает макропеременная: температура заменяет миллиарды движущихся молекул, а уровень моря — тысячи волн.

Переводчик, который выучил грамматику языка хаоса на учебных примерах, теперь понимает живую речь с её акцентом и шумом. Так работает новый метод KDL: сначала нейросеть тренируется на искусственных данных, порождённых уравнением Льенара, а затем переносится на реальные временные ряды, где экстремальные события редки и непредсказуемы.

Переводчик, который научился исправлять собственные оговорки, работает точнее. В мире прогнозирования шумных процессов эту роль берёт на себя новый метод: резервуарный компьютер, который на каждом шаге добавляет к своему прогнозу случайную поправку. Раньше такие системы быстро сбивались, потому что шум копил ошибки, как переводчик, который не замечает своих оговорок, и к концу речи смысл терялся.

Оптик крутит оправу, ловит фокус, и размытое пятно становится чёткой картинкой. Примерно так же работает новый алгоритм GOAL: он поворачивает облако данных, сжимает лишние измерения и наводит резкость на то, что действительно важно. Когда признаков больше, чем наблюдений, стандартные методы напоминают попытку разглядеть лицо через запотевшее стекло: шум забивает сигнал. GOAL действует иначе.

Оркестр без дирижёра: музыканты рассаживаются, настраивают инструменты и начинают играть слаженно, потому что каждый слышит общий ритм. Так работает TreeDOX — метод, который предсказывает хаотические ряды, не требуя от человека ни выбора параметров, ни тонкой настройки.

Оркестр из тысячи музыкантов играет слаженно, пока дирижёр держит темп. Но стоит ему сменить партитуру, как скрипки в одном углу начинают звучать громче, а духовые в другом — вступать с опозданием.

Дообучение нейросети сродни попытке изменить чёрную дыру, не переступая её горизонта событий: корректировке подвергается лишь малая часть параметров. Заглянув во внутреннюю структуру, исследователи обнаружили любопытные паттерны — сильные корреляции между фрагментами модели, напоминающие квантовую запутанность.

Генетическая диагностика похожа на сравнение двух фотографий, сделанных разными камерами. Если одна камера чуть сдвинула цвета, на снимке появятся «дефекты», которых нет в реальности. Так и в анализе ДНК: образец пациента сравнивают с эталонным, и если эталон обработан реактивами из другой партии или в другой лаборатории, сравнение даёт ложные сигналы — то лишние мутации, то пропущенные настоящие.

Старые метеосводки хранят сюрпризы: столбик термометра вдруг подпрыгивает на полградуса не из-за погоды, а потому что на станции сменили прибор. Такие резкие сдвиги в данных называют точками изменения, и отделить их от настоящих климатических сигналов — задача, над которой бьются статистики.

Нейросеть можно сравнить с общежитием, где каждому жильцу полагается своя комната. Обычно каждый признак в данных занимает отдельный нейрон, и обучение идёт по очереди: сначала один признак, потом другой. Это медленно и зависит от того, какие именно данные попались. Но если разрешить нескольким признакам жить в одной комнате — наложить их друг на друга, — картина меняется.

Тысячи моделей варятся в одном котле, и пар от них поднимается густой, непроглядный. Каждая что-то шепчет о будущем Эль-Ниньо, но в общем шуме не разобрать, кто прав, а кто просто горячится. Учёные придумали перегонный куб: отбирают только те модели, которые уже угадали фазу события, и выпаривают из них двенадцать чистых капель-прототипов.

Электрокардиограмма — это как запись шума мотора: по ней опытный механик слышит, когда что-то не так. УЗИ сердца показывает сам мотор изнутри, но аппарат дорог, а специалистов мало. Новая модель соединяет оба подхода: она учится на миллионах обычных кардиограмм и подсказывает, у кого сердце уже изменилось, хотя человек этого не чувствует.

Семь снимков неба после извержения вулкана Пинатубо. По каждому снимку — карта концентраций десятков веществ. Вопрос простой: какое вещество в какое превращается? Но как вывести цепочку причин из семи кадров, если переменных больше, чем моментов времени? M-CaStLe смотрит на карту иначе. Для каждой клетки сетки собирается окно из девяти соседей: центральная клетка и восемь вокруг неё.

Симфония звучит, но в партитуру вкралась едва заметная фальшивая нота. Примерно так физики ищут отклонения от общей теории относительности в «звуках» Вселенной — гравитационных волнах от слияния чёрных дыр. Эти волны, словно круги на воде от брошенного камня, расходятся по ткани пространства-времени и доходят до детекторов на Земле.

Вы пробуете блюдо в ресторане, но меню не видели. Задаёте официанту вопросы — слишком солёное? с какими специями? — и по ответам пытаетесь угадать, что за повар его готовил. Примерно так же исследователи изучают современные нейросети, когда доступ к ним есть только через API (программный интерфейс, где можно задать вопрос и получить ответ, но нельзя заглянуть внутрь).

Спектр — это как фотография внутреннего устройства вещества, сделанная светом. Когда луч проходит сквозь образец или отражается от него, молекулы оставляют на этой фотографии характерные тёмные полосы — пики. Но если снимок засвечен или покрыт серой пеленой, разглядеть детали почти невозможно.

Лабораторный робот отсчитывает молекулы — и сбивается. В одной пробирке 0, в другой 12, в третьей 3, хотя на самом деле везде примерно поровну. Такие «сырые» цифры — обычное дело в биологии: секвенирование ДНК, подсчёт видов в пробе воды, активность генов. Данных много, но они разрежены и разбросаны сильнее, чем допускает простая случайность.

Тысяча частиц вступают в градиентный танец. Каждая чувствует притяжение к области высокой вероятности и отталкивание от соседей — чтобы не скучиваться.

60 мышей, 1980 образцов, 234 пациента с раком лёгкого. За каждым числом — тысячи генов. Их активность измеряют, чтобы понять болезнь. Но данные не однородны: у одного больного оценивают уровень белка (непрерывное число), ставят диагноз (да/нет) и определяют подтип опухоли (категория). Смешать их в одной модели — как сложить градусы Цельсия и километры.

Предсказать свойства новой молекулы — сродни попытке угадать вкус незнакомого блюда. Программа работает как опытный повар: она «пробует» похожие молекулы, чьи свойства уже известны, и на основе их «вкуса» уточняет свою догадку. Например, для воды или углекислого газа алгоритм находит изученные аналоги и корректирует температуру кипения или растворимость.

Сложные технические системы — от дронов до роботов-хирургов — порой ведут себя подобно дикому мустангу: они полны беспорядка и капризов, где лёгкое прикосновение вызывает бурю. Вместо того чтобы заучивать громоздкие формулы, новый метод наблюдает за системой, словно опытный объездчик.

Звуковой сигнал удобно представлять комплексным числом: его модуль (амплитуда) отражает громкость, а аргумент (фаза) — положение волны во времени, её мгновенный сдвиг. Традиционные нейросети расщепляют это единое описание на две независимые координаты — грубо говоря, задают адрес в декартовой сетке: «два шага на восток, один на север».

Обычный радар напоминает микрофон в гудящей толпе: отдельные звуки сливаются в кашу. PiVoT работает как дирижёр, который в хаосе настройки мгновенно распознаёт каждый инструмент. Вместо того чтобы перебирать гипотезы, алгоритм стягивает петлю вокруг самых вероятных целей — автомобилей, велосипедистов, пешеходов.

Мозг не просто реагирует на мир — он постоянно гадает, что произойдёт в следующий миг. Этот принцип называют предсказательным кодированием: нейроны сравнивают ожидания с реальностью и обновляют внутреннюю картину, когда случается ошибка. Но как именно такая сложная система может быть устроена в живой ткани коры, оставалось неясным.

Нейросеть предсказывает будущее динамической системы — например, эволюцию плазмы в магнитном поле или изменение лица на видео. Ошибки неизбежны, и чем дальше модель заглядывает вперёд, тем больше их накапливается. Свериться с правильным ответом в момент работы невозможно: его просто не существует. Авторы новой работы нашли простой, как всё гениальное, трюк: обучить одну модель двигаться и вперёд, и назад по времени.

Представьте: два фотографа снимают одну и ту же гору. Один делает сотню кадров с вершины и лишь пару у подножия, другой — наоборот. Если попытаться совместить их снимки, алгоритм может решить, что вершина на одном снимке соответствует вершине на другом просто потому, что там много похожих точек, а не потому, что это одно и то же место. Плотность съёмки сбивает с толку.