Большая нейросеть, вроде Whisper, владеет сотнями языков и напоминает стандартную модель вселенной: всё сбалансировано. Но обучение редкому языку нарушает равновесие — он превращается в чёрную дыру, притягивающую все ресурсы обучения. Сеть начинает забывать остальные языки.
Метод Unified Gradient Projection (UGP) предотвращает перекос. Он действует как гравитационное поле, равномерно распределяющее «внимание» между языками. Градиенты — направления настройки сети — не отклоняются в пользу одного языка, и искривление пространства-времени знаний остаётся однородным. Энтропия забывания — мера беспорядка — стремится к нулю.
Удивительно, но человеческий мозг решает похожую задачу во сне: перерабатывая дневной опыт, он равномерно укрепляет все воспоминания, чтобы ничего не терялось. UGP делает для нейросетей то же, что сон для людей.
Человеческий мозг при изучении нового языка может временно «отключать» старый — это известно как языковая интерференция. Нейросети страдают от похожего эффекта, но в отличие от нас, без специальных методов забывают навсегда.
Идеальный ассистент C-3PO из «Звёздных войн» знает миллионы языков и никогда не путает их — возможно, в нем встроен аналог UGP.