Крупная нейросеть, такая как Whisper, владеющая сотнями языков, напоминает стандартную модель физики элементарных частиц — стройную систему, где всё находится в тонком равновесии. Но стоит начать дообучать её на редком языке, как это равновесие рушится: целевой язык превращается в чёрную дыру — область, которая неумолимо притягивает все обучающие ресурсы. Сеть начинает катастрофически забывать остальные языки, словно их никогда и не было.

Метод Unified Gradient Projection (UGP) предотвращает этот разрушительный перекос. Он действует подобно гравитационному полю, которое равномерно распределяет «внимание» между всеми языками. В процессе обучения градиенты — векторы, указывающие направления настройки параметров сети, — под воздействием UGP не отклоняются в пользу одного языка, благодаря чему искривление пространства-времени приобретённых знаний остаётся однородным. Иными словами, структура многомерного пространства представлений не деформируется в сторону новичка. Энтропия забывания — мера беспорядка в сохранённых навыках — стремится к нулю, сохраняя порядок.

Любопытно, что человеческий мозг решает сходную задачу во время сна: перерабатывая дневной опыт, он равномерно укрепляет все воспоминания, не позволяя свежим впечатлениям вытеснить старые. UGP выполняет для нейросетей ту же функцию, что сон для человека, — стабилизирует и консолидирует знания, предотвращая их фрагментацию.