Большая нейросеть, вроде Whisper, владеет сотнями языков и напоминает стандартную модель вселенной: всё сбалансировано. Но обучение редкому языку нарушает равновесие — он превращается в чёрную дыру, притягивающую все ресурсы обучения. Сеть начинает забывать остальные языки.
Метод Unified Gradient Projection (UGP) предотвращает перекос. Он действует как гравитационное поле, равномерно распределяющее «внимание» между языками. Градиенты — направления настройки сети — не отклоняются в пользу одного языка, и искривление пространства-времени знаний остаётся однородным. Энтропия забывания — мера беспорядка — стремится к нулю.
Удивительно, но человеческий мозг решает похожую задачу во сне: перерабатывая дневной опыт, он равномерно укрепляет все воспоминания, чтобы ничего не терялось. UGP делает для нейросетей то же, что сон для людей.
как её написали авторы, на английском arXiv:2607.11163
Large-scale pretrained ASR models such as Whisper exhibit strong multilingual capabilities. However, fine-tuning on low-resource languages often causes catastrophic forgetting. Although continual learning mitigates this issue, existing methods struggle to regulate cross-task interference in multilingual settings, where dominant languages bias optimization. We propose Unified Gradient Projection (UGP), which constrains parameter updates using reference gradients from language-balanced replay in a unified projection space. By equalizing per-language contributions in the projection, UGP reduces dominant-language bias and improves cross-lingual stability. We further show that combining gradient-level projection with data-level replay yields complementary gains in stability and plasticity. Across diverse low-resource language groups and model scales, UGP enables effective adaptation while substantially mitigating forgetting. On Whisper-large-v3, it achieves near-zero average forgetting.
Человеческий мозг при изучении нового языка может временно «отключать» старый — это известно как языковая интерференция. Нейросети страдают от похожего эффекта, но в отличие от нас, без специальных методов забывают навсегда.
Идеальный ассистент C-3PO из «Звёздных войн» знает миллионы языков и никогда не путает их — возможно, в нем встроен аналог UGP.