нейронное усвоение языка

В 1980-х годах соревнование DARPA по распознаванию речи положило конец спору между статистическими методами и рукописными правилами, задав единый стандарт для всей области. Для речевых нейроинтерфейсов, переводящих мозговую активность в слова, такого общего эталона до сих пор не было: каждая система использует свой словарь, способ записи и тип речи.

В марте 2020 года Франция опустела: люди перестали ходить на работу, в школы и кафе, а улицы наполнились тишиной. Эпидемиологи смотрели на графики и понимали, что вирус распространяется не сам по себе, а через рукопожатия, разговоры и поездки в метро. Но как предсказать, сколько контактов останется у человека, если правительство объявит новые ограничения?

В антарктическом льду частица-призрак оставляет после себя лишь слабую вспышку синего света. Детектор IceCube ловит эти вспышки, и по ним нужно понять, откуда прилетела частица. Модель PolarBERT научилась это делать, но что именно она видит внутри — оставалось загадкой.

На многолюдном приёме пожилой человек переспрашивает собеседника снова и снова: слова тонут в гуле голосов. Так выглядит мост, по которому звук идёт от уха к смыслу. Пока этот мост крепок, шум лишь мешает, но не обрывает разговор. С возрастом опоры моста изнашиваются, и первыми сдают те, что держат не только слух, но и саму способность думать.

Класс затихает после урока, но в голове у ребёнка всё ещё звучит эхо: лица, предметы, места. Именно это эхо, а не сам урок, решает, что останется в памяти. Исследователи впервые поймали его у детей от 6 до 17 лет. Дети запоминали сцены в томографе: им показывали комнату, затем предмет или лицо в определённом месте. После этого пять минут они просто смотрели на крест.

Каждый удар сердца отправляет по мозговым артериям волну, которая не только толкает кровь, но и на мгновение раздувает сосуд. Стенка артерии, как туго натянутая резиновая трубка, передаёт это движение соседней ткани мозга, и тот едва заметно пульсирует в такт сердечному ритму. Смещения крошечные — доли миллиметра, — но именно они могут влиять на то, как мозг очищается от отходов и как распределяются лекарства.

Мозг можно представить как оркестр, где дирижёр — кора больших полушарий, а таламус — первая скрипка. Таламус — это центральная ретрансляционная станция: он получает сенсорные сигналы, в том числе зрительные от глаз, и передаёт их в соответствующие области коры, например в зрительную кору.

Магнитоэнцефалограф — прибор, похожий на шлем с сотнями датчиков, — улавливает слабые магнитные поля, которые создают работающие нейроны. Если человек слушает речь, в этих сигналах прячутся отпечатки услышанных слов. Но достать их оттуда непросто: сигнал от тысяч источников сливается в запутанный клубок.

Представьте стадион, заполненный зрителями, который впервые слышит голос комментатора — и мгновенно вся толпа приходит в движение. Сообщение звучит снова и снова, но откликается лишь горстка людей на соседних рядах.

Человеческий разум похож на конструктор, который сам себя достраивает. Новые идеи не умирают вместе с человеком — они передаются, смешиваются и отбираются. Этот процесс называют культурной эволюцией: полезные изобретения закрепляются, а бесполезные забываются. Так работает храповик — механизм, который крутится только вперёд.

Радиосигналы в замкнутом пространстве ведут себя подобно акустическим волнам в концертном зале: многократно отражаясь от стен, мебели и других поверхностей, они формируют уникальную интерференционную картину — своего рода безмолвную «мелодию» каждого места. Смартфон, оснащённый приёмником, подобно чуткому уху, регистрирует эту картину через анализ помех и искажений сигнала.

Обычные алгоритмы компьютерного зрения воспринимают медицинские изображения как набор несвязанных фрагментов — любые два несовпадающих снимка для них абсолютно различны. Это напоминает попытку отличить близнецов, не зная об их родстве. В медицине же пациенты с одним заболеванием часто выглядят на МРТ почти идентично, и алгоритм ошибается, путая «родственные» случаи.

Искусственный интеллект, предсказывающий акустику помещения, напоминает студента на экзамене со шпаргалкой. Если проверочные точки совпадают с учебными, модель просто запоминает звуковой «отпечаток» каждой позиции — как студент, узнающий билет по загибу уголка.

Классическая система слежения напоминает штурмана, прокладывающего курс по звёздам. Но стоит облакам закрыть небо — координаты начинают дрейфовать, а в данных нарастает энтропия — мера неопределённости. Новый алгоритм получает «второго пилота» — модуль, который непрерывно оценивает, насколько уверен основной навигатор в своих расчётах.

Современный стандартный подход к обучению искусственного интеллекта можно сравнить с ребёнком, запертым в библиотеке: он запоминает миллионы книг, но не знает, что огонь обжигает, а падение приносит боль.

Крупная нейросеть, такая как Whisper, владеющая сотнями языков, напоминает стандартную модель физики элементарных частиц — стройную систему, где всё находится в тонком равновесии.

Сложные технические системы — от дронов до роботов-хирургов — порой ведут себя подобно дикому мустангу: они полны беспорядка и капризов, где лёгкое прикосновение вызывает бурю. Вместо того чтобы заучивать громоздкие формулы, новый метод наблюдает за системой, словно опытный объездчик.

Машинное обучение давно перестало быть просто инструментом — оно становится исследователем, самостоятельно выуживающим законы природы из данных. Но как кремниевый разум приходит к пониманию? Чтобы подсмотреть этот процесс, физики обратились к игрушечной, но глубокой модели — решётке Изинга, где спины танцуют под диктовку температуры.

В эмбриональном развитии клетка напоминает музыканта в огромном оркестре: она должна сыграть свою партию, ориентируясь на дирижёра — градиент сигнальных молекул. Но дирижёр ненадёжен: концентрация морфогенов постоянно флуктуирует. Как же тогда виолончелист не сбивается на скрипичную мелодию?

В зале суда — строка, поданная на вход. Двенадцать присяжных (вычислительных путей) изучают её символ за символом. Каждый может вынести «виновен» (принять) или «невиновен». Для обычного недетерминированного автомата (НКА) достаточно одного голоса «за». Но в суде с симметрической разностью (XNFA) вердикт выносится по нечётности: если число голосов «виновен» нечётно — слово принято.

Замкнутый круг: машина выдвигает идею, проверяет её на людях, видит провалы и рождает новую, более точную догадку. Так работает AutoCog — автоматический когнитивный учёный. Раньше в науке о мышлении (когнитивной науке) самое сложное — придумать теорию — делали только люди. Данные собирали автоматы, модели считали компьютеры, а творческий шаг оставался за человеком. AutoCog впервые замыкает этот цикл целиком.

Вы рассказываете другу историю, а его мозг словно настраивается на вашу волну — одни и те же участки активируются в такт вашим словам. Учёные записали такую «нейронную синхронизацию» с помощью магнитоэнцефалографии (прибора, улавливающего магнитные поля мозга) и решили проверить, может ли компьютерная языковая модель повторить этот танец смыслов.

Человек смотрит на дверной замок и видит щель для ключа. Он знает, что ключ вставляют и поворачивают. Но если вместо скважины — сенсорная панель, привычная рамка ломается. Человек не просто ошибается: он понимает, что привычный способ не годится, и может сказать: «Здесь нет места для ключа, нужен другой подход». Такая честная остановка с объяснением — редкость для машин.

В пробирке плавают молекулы. Их количество — скажем, концентрация какого-то белка — становится входным сигналом. А на выходе нужен не просто мутный раствор, а чёткий ответ вроде «да» или «нет». Авторы работы строят химическую цепочку, которая делает именно это.

Рука выводит в воздухе слово «мама» — знакомые дуги и палочки. Мозг при этом не прокручивает фотографию каждой буквы. Он запускает цепочку простых движений. Нейроинженеры проверили эту идею: мысленный почерк — не галерея готовых картинок, а конструктор из одних и тех же двигательных «кирпичиков».

Художник пишет картину, поглядывая на зрителя в зале. Если зритель улыбается — художник добавляет на холст больше красного и округлых линий, если хмурится — убирает синий и ломает углы. Примерно так же нейробиологи «допрашивают» нейроны зрительной коры, только вместо красок — сотни тысяч фотографий, а вместо улыбки — электрический импульс.

Сотня человек говорит одновременно в большом зале. Вы пытаетесь расслышать одного — но голоса сливаются, кто-то шепчет, а о существовании некоторых вы даже не догадываетесь. Примерно так чувствует себя обычный лазерный газоанализатор, когда в камере сгорания или заводской трубе смешиваются десятки веществ.

Летний луг всплывает в памяти не просто картинкой — вместе с ней приходит запах травы и тепло солнца. Мозг склеивает ощущения в единый образ, и тот держится прочнее, чем каждое поодиночке. Но как именно нейроны сшивают зрительное с обонятельным, долго оставалось загадкой.

Врач разглядывает снимок мозга: где-то в переплетении тканей прячется опухоль. Один взгляд выхватывает мелкие пятна и границы, другой — общую форму и расположение. Человек совмещает оба, но на сотнях снимков это утомительно. Новая программа делает то же самое автоматически. Одна её часть работает как лупа: скользит по изображению и собирает мелкие детали — текстуру, края, локальные изменения.

52.4 nDCG@10 — такой результат показывает ModernBERT после процедуры Vocabulary Transfer. Ещё вчера он путался в регистрах, а сегодня обошёл лучшие разреженные поисковики. Нейросеть проваливает поиск, потому что не может договориться о словах. Token и token для неё — две разные вселенные.

Речь похожа на оркестр, где каждая нота должна прозвучать в свой момент. Мозг превращает мысль в цепочку звуков за доли секунды, и до сих пор было неясно, как он управляет этой иерархией — от отдельных звуков к слогам и целым словам.

Нейроны в мозге и узлы в искусственных нейросетях оперируют не только отдельными «да» и «нет», но и плавно меняющимися величинами: где именно находится предмет, какого он размера. Но нейронный ответ — штука капризная: один и тот же стимул вызывает чуть разные всплески активности от раза к разу.

Кухонный нож и овощечистка по отдельности справляются с разными задачами, но когда повар учится новому рецепту, он часто хватается за один и тот же нож для всего. Похоже, так же поступает мозг, когда осваивает новый навык различения образов. В эксперименте обезьяны неделями тренировались различать едва заметные отличия в сложных узорах.

Наука похожа на город, где улицы прокладывают сами жители. Там, где уже протоптаны тропы, строят новые дома, а нетронутые пустыри остаются незамеченными — не потому, что там нельзя строить, а потому, что никто туда не заглядывает. В науке такие пустыри — это направления, которые логично вытекают из уже известного, но не приходят в голову учёным, потому что у каждого своя узкая специализация и привычные методы.

Химик-разработчик лекарств похож на детектива, который ищет нужное вещество среди миллионов подозреваемых. Современные нейросети ускоряют поиск, но ведут себя как свидетель, который говорит «это он» и отказывается объяснять. В фармацевтике такая скрытность опасна: ложная корреляция может отправить токсичное соединение на следующий этап испытаний.

Белки — это цепочки аминокислот, и в них часто встречаются повторяющиеся куски. Иногда повторы точные, как одна и та же фраза, сказанная дважды. Иногда — с опечатками: пара букв заменена, но смысл тот же. Такие повторы важны: они помогают белку сворачиваться в нужную форму и выполнять свою работу.

Белков в природе — как песчинок на пляже, и у каждого своя работа: одни расщепляют пищу, другие строят клетки. Но чтобы понять, чем именно занят конкретный белок, его нужно изучить в лаборатории — а это медленно и дорого.

Ночью человек дышит, и по ритму этого дыхания можно многое сказать о его сне. Но обычно врачи смотрят на электрические волны мозга — их записывают датчиками на голове. Новая работа показывает, как по одному лишь дыханию восстановить эти волны, не касаясь головы. Модель работает как переводчик с языка тела на язык мозга.

Детектив ищет преступника по картотеке, но портреты в ней перемешаны. Обычно он ждёт человека с седой бородой, а преступник — молодой и без бороды. Так и врачи часто не узнают болезнь Альцгеймера у тех, у кого она проявляется необычно: не потерей памяти, а проблемами со зрением или речью. Болезнь Альцгеймера обычно связывают с накоплением в мозге двух белков — амилоида и тау.

Когда опухоль затрагивает весь мозг, врачи облучают его целиком. Это надёжный метод, но настройка облучения — кропотливая работа: нужно подобрать параметры так, чтобы опухоль получила нужную дозу, а глаза и хрусталики пострадали как можно меньше. Обычно специалист тратит на это около 15 минут, вручную подгоняя настройки в программе. Теперь этот процесс ускорили.