Почему нейросети похожи на чёрные дыры: урок «лысых» моделей ✎ экспресс

Оригинал: "Artificial Entanglement in the Fine-Tuning of Large Language Models"

· Min Chen, Zihan Wang, Canyu Chen, Zeguan Wu, Manling Li, Junyu Liu

arXiv:2601.06788 · 2026-01-11 · arXiv non-exclusive · собственный разбор · 1 мин

Машинное обучение Искусственный интеллект Теоретическая физика высоких энергий Квантовая физика Статистическое машинное обучение

Измерив «запутанность» внутри нейросетей, учёные поняли: они ведут себя как чёрные дыры — внешне одинаковы при любых внутренних изменениях.

Дообучение нейросети похоже на попытку изменить чёрную дыру, не коснувшись её горизонта событий: меняют лишь малую часть параметров. Исследователи заглянули внутрь и увидели удивительные узоры — сильные связи между кусочками модели, как в квантовой запутанности. Измеряя энтропию (меру хаоса), они обнаружили «долину запутанности» — резкий провал упорядоченности, который зависит от метода обучения.

Подобно чёрной дыре, которая, по выражению Джона Уилера, «не имеет волос», языковая модель выдаёт результат, не зависящий от внутренних узоров. Эту «лысость» связал с энтропией Якоб Бекенштейн.

На практике это значит: неважно, какие узоры внутри, важно внешнее поведение. Поэтому можно разрабатывать лёгкие методы адаптации ИИ, не вникая в детали.

Весь граф →

Теорема «об отсутствии волос»: чёрную дыру описывают лишь масса, заряд и вращение. Вся остальная информация о поглощённой материи стирается.

Учёные

Jacob Bekenstein Stephen Hawking Wilhelm Wien Ludwig Boltzmann Charles Bennett John von Neumann

Понятия

языковая модель белков большие языковые модели активное обучение параметр скорость обучения подгонка параметров обучение квантовой запутанности распознавание речи трансформеры самокоррекция ИИ методы регуляризации анализ речи с помощью ИИ регрессия нейронной сети распознавание образов обучение обучение с подкреплением слабое обучение важность признаков

Я автор

Почему нейросети похожи на чёрные дыры: урок «лысых» моделей ✎ экспресс