Как нейросеть учится говорить по-человечески экспресс
Языковая модель — это многослойная конструкция, где каждый слой обрабатывает слова по-своему. В начале обучения слои хаотичны, но постепенно выстраиваются в две команды. Первая команда работает по-простому: её внутренняя геометрия сглаживается, становится менее запутанной. Вторая остаётся сложной и витиеватой.
Учёные сравнили модель с данными фМРТ людей, которые слушали или читали текст. Сходство с мозгом появлялось неравномерно: в височных областях (отвечают за звучание и значение слов) — быстро и стабильно, а в лобных (отвечают за построение фраз) — позже и постепенно. Причём у более крупных моделей эта связь крепче.
Получается, что обучение языку — это путь от хаоса к порядку. Мозг, возможно, делает то же самое: сглаживает одни пути обработки информации, оставляя другие сложными для гибкости.
Оригинальная аннотация
как её написали авторы, на английском arXiv:2602.07539
How large language models (LLMs) align with the neural representation and computation of human language is a central question in cognitive science. Using representational geometry as a mechanistic lens, we addressed this by tracking entropy, curvature, and fMRI encoding scores throughout Pythia (70M-1B) training. We identified a geometric modularization where layers self-organize into stable low- and high-complexity clusters. The low-complexity module, characterized by reduced entropy and curvature, consistently better predicted human language network activity. This alignment followed heterogeneous spatial-temporal trajectories: rapid and stable in temporal regions (AntTemp, PostTemp), but delayed and dynamic in frontal areas (IFG, IFGorb). Crucially, reduced curvature remained a robust predictor of model-brain alignment even after controlling for training progress, an effect that strengthened with model scale. These results links training-driven geometric reorganization to temporal-frontal functional specialization, suggesting that representational smoothing facilitates neural-like linguistic processing.
Слои языковой модели можно сравнить с этажами здания: нижние этажи разбирают слова на звуки и буквы, верхние — строят из них смысл. Исследование показало, что «простые» этажи находятся ближе к входу, а «сложные» — к выходу.
В фильме «Она» искусственный интеллект Саманта эволюционирует и начинает понимать людей лучше их самих. Это исследование — шаг к пониманию, как машина может достичь такого уровня.