Почему нейросети похожи на чёрные дыры: урок «лысых» моделей ⚡ экспресс
Учёные выяснили, почему метод LoRA — изящный способ обучать большие языковые модели, меняя лишь малую часть параметров — так хорошо работает. Они рассмотрели внутренние «запутанности» (похожие на квантовые) и нашли загадочную «долину запутанности». Но, как чёрная дыра скрывает свои тайны, внешние проявления модели остаются простыми — в этом и секрет эффективности.
Дообучение нейросети похоже на попытку изменить чёрную дыру, не коснувшись её горизонта событий: меняют лишь малую часть параметров. Исследователи заглянули внутрь и увидели удивительные узоры — сильные связи между кусочками модели, как в квантовой запутанности. Измеряя энтропию (меру хаоса), они обнаружили «долину запутанности» — резкий провал упорядоченности, который зависит от метода обучения.
На практике это значит: неважно, какие узоры внутри, важно внешнее поведение. Поэтому можно разрабатывать лёгкие методы адаптации ИИ, не вникая в детали.
🎯 Теорема «об отсутствии волос»: чёрную дыру описывают лишь масса, заряд и вращение. Вся остальная информация о поглощённой материи стирается.