main concepts scientists sections
ПростоПопулярноПодробно

Как нейросеть учится говорить по-человечески экспресс

Оригинал: "Training-Driven Representational Geometry Modularization Predicts Brain Alignment in Language Models"
· Yixuan Liu, Zhiyuan Ma, Likai Tang, Runmin Gan, Xinche Zhang, Jinhao Li, Chao Xie, Sen Song
arXiv:2602.07539 · 2026-02-07 · CC BY 4.0 · 1 мин
Нейроны и когнитивные науки Компьютерная лингвистика
Большие языковые модели с возрастом перестраивают свои слои так, что начинают напоминать мозг.

Языковая модель — это многослойная конструкция, где каждый слой обрабатывает слова по-своему. В начале обучения слои хаотичны, но постепенно выстраиваются в две команды. Первая команда работает по-простому: её внутренняя геометрия сглаживается, становится менее запутанной. Вторая остаётся сложной и витиеватой.

Слои с простой геометрией оказались лучшими предсказателями активности языковых зон мозга. Чем проще — тем точнее.

Учёные сравнили модель с данными фМРТ людей, которые слушали или читали текст. Сходство с мозгом появлялось неравномерно: в височных областях (отвечают за звучание и значение слов) — быстро и стабильно, а в лобных (отвечают за построение фраз) — позже и постепенно. Причём у более крупных моделей эта связь крепче.

Даже когда модель продолжала учиться, именно простота геометрии предсказывала сходство с мозгом лучше, чем просто стаж обучения.

Получается, что обучение языку — это путь от хаоса к порядку. Мозг, возможно, делает то же самое: сглаживает одни пути обработки информации, оставляя другие сложными для гибкости.

Весь граф →

Слои языковой модели можно сравнить с этажами здания: нижние этажи разбирают слова на звуки и буквы, верхние — строят из них смысл. Исследование показало, что «простые» этажи находятся ближе к входу, а «сложные» — к выходу.

В фильме «Она» искусственный интеллект Саманта эволюционирует и начинает понимать людей лучше их самих. Это исследование — шаг к пониманию, как машина может достичь такого уровня.

Понятия
большие языковые модели языковая модель белков нейронные сети в пространственном картировании обобщение нейронные сети прогностического обучения прогностическая модель обучающие данные методы регуляризации самонаблюдаемое обучение обучение система отсчёта сегментация опухолей трансформеры симплектическая геометрия анализ медицинских изображений глубокое обучение в медицинской визуализации архитектура памяти нейронной сети сопоставление медицинских изображений с геномными данными скорость обучения гиппокамп