Un grand réseau de neurones, comme Whisper, maîtrise des centaines de langues et ressemble au modèle standard de l'univers : tout est équilibré. Mais l'apprentissage d'une langue rare rompt cet équilibre — elle se transforme en trou noir qui attire toutes les ressources d'apprentissage. Le réseau commence à oublier les autres langues.
La méthode Unified Gradient Projection (UGP) empêche ce déséquilibre. Elle agit comme un champ gravitationnel qui répartit uniformément l'« attention » entre les langues. Les gradients — les directions d'ajustement du réseau — ne dévient pas en faveur d'une langue, et la courbure de l'espace-temps des connaissances reste homogène. L'entropie de l'oubli — la mesure du désordre — tend vers zéro.
Étonnamment, le cerveau humain résout un problème similaire pendant le sommeil : en traitant les expériences de la journée, il renforce uniformément tous les souvenirs pour ne rien perdre. UGP fait pour les réseaux de neurones ce que le sommeil fait pour les humains.
tel que rédigé par les auteurs, en anglais arXiv:2607.11163
Large-scale pretrained ASR models such as Whisper exhibit strong multilingual capabilities. However, fine-tuning on low-resource languages often causes catastrophic forgetting. Although continual learning mitigates this issue, existing methods struggle to regulate cross-task interference in multilingual settings, where dominant languages bias optimization. We propose Unified Gradient Projection (UGP), which constrains parameter updates using reference gradients from language-balanced replay in a unified projection space. By equalizing per-language contributions in the projection, UGP reduces dominant-language bias and improves cross-lingual stability. We further show that combining gradient-level projection with data-level replay yields complementary gains in stability and plasticity. Across diverse low-resource language groups and model scales, UGP enables effective adaptation while substantially mitigating forgetting. On Whisper-large-v3, it achieves near-zero average forgetting.
Le cerveau humain, lorsqu'il apprend une nouvelle langue, peut temporairement « désactiver » l'ancienne — c'est ce qu'on appelle l'interférence linguistique. Les réseaux de neurones souffrent d'un effet similaire, mais contrairement à nous, sans méthodes spéciales, ils oublient définitivement.
L'assistant idéal C-3PO de « Star Wars » connaît des millions de langues et ne les mélange jamais — peut-être qu'il intègre un équivalent de l'UGP.