Una gran red neuronal, como Whisper, domina cientos de idiomas y recuerda al modelo estándar del universo: todo está equilibrado. Pero entrenarla en un idioma raro rompe el equilibrio: se convierte en un agujero negro que atrae todos los recursos de aprendizaje. La red comienza a olvidar los demás idiomas.
El método Unified Gradient Projection (UGP) evita el desequilibrio. Actúa como un campo gravitacional que distribuye uniformemente la «atención» entre los idiomas. Los gradientes —las direcciones de ajuste de la red— no se desvían a favor de un solo idioma, y la curvatura del espacio-tiempo de los conocimientos se mantiene homogénea. La entropía del olvido —medida del desorden— tiende a cero.
Sorprendentemente, el cerebro humano resuelve una tarea similar durante el sueño: al procesar las experiencias del día, refuerza todos los recuerdos por igual para que nada se pierda. UGP hace por las redes neuronales lo mismo que el sueño por las personas.
tal como lo escribieron los autores, en inglés arXiv:2607.11163
Large-scale pretrained ASR models such as Whisper exhibit strong multilingual capabilities. However, fine-tuning on low-resource languages often causes catastrophic forgetting. Although continual learning mitigates this issue, existing methods struggle to regulate cross-task interference in multilingual settings, where dominant languages bias optimization. We propose Unified Gradient Projection (UGP), which constrains parameter updates using reference gradients from language-balanced replay in a unified projection space. By equalizing per-language contributions in the projection, UGP reduces dominant-language bias and improves cross-lingual stability. We further show that combining gradient-level projection with data-level replay yields complementary gains in stability and plasticity. Across diverse low-resource language groups and model scales, UGP enables effective adaptation while substantially mitigating forgetting. On Whisper-large-v3, it achieves near-zero average forgetting.
Al aprender un nuevo idioma, el cerebro humano puede «desconectar» temporalmente el antiguo: esto se conoce como interferencia lingüística. Las redes neuronales sufren un efecto similar, pero, a diferencia de nosotros, sin métodos especiales olvidan para siempre.
El asistente perfecto C-3PO de «Star Wars» conoce millones de idiomas y nunca los confunde: quizás lleva incorporado un análogo del UGP.