Почему нейросети похожи на чёрные дыры: урок «лысых» моделей ⚡ экспресс
Original: "Artificial Entanglement in the Fine-Tuning of Large Language Models"
Измерив «запутанность» внутри нейросетей, учёные поняли: они ведут себя как чёрные дыры — внешне одинаковы при любых внутренних изменениях.
Связи в графе знаний 1
Оказавшись внутри чёрной дыры, любая информация «лысеет» — снаружи видны лишь масса и заряд. Языковые модели похожи: экономные настройки создают внутри причудливые узоры запутанности, но результат не зависит от узора. Это ключ к быстрой адаптации ИИ.
🎯 Теорема «об отсутствии волос»: чёрную дыру описывают лишь масса, заряд и вращение. Вся остальная информация о поглощённой материи стирается.