Почему нейросети похожи на чёрные дыры: урок «лысых» моделей ⚡ экспресс
Исследователи применили подход из квантовой физики, чтобы понять успех LoRA — популярного метода дообучения больших языковых моделей с низкоранговыми обновлениями. Параметры сети были представлены как матричные произведения состояний, что позволило измерить «искусственную запутанность» (аналог квантовой энтропии). Обнаружено: во внутренних слоях LoRA-обновлений энтропия следует объёмному закону с характерным провалом — «долиной запутанности», а в слоях внимания между токенами — закону площади с логарифмическими поправками. Удивительная параллель с теоремой об отсутствии волос у чёрных дыр: различия внутренней структуры не проявляются в выходных данных, что объясняет эффективность низкоранговой адаптации.
Дообучение нейросети похоже на попытку изменить чёрную дыру, не коснувшись её горизонта событий: меняют лишь малую часть параметров. Исследователи заглянули внутрь и увидели удивительные узоры — сильные связи между кусочками модели, как в квантовой запутанности. Измеряя энтропию (меру хаоса), они обнаружили «долину запутанности» — резкий провал упорядоченности, который зависит от метода обучения.
На практике это значит: неважно, какие узоры внутри, важно внешнее поведение. Поэтому можно разрабатывать лёгкие методы адаптации ИИ, не вникая в детали.
🎯 Теорема «об отсутствии волос»: чёрную дыру описывают лишь масса, заряд и вращение. Вся остальная информация о поглощённой материи стирается.