Un grand réseau de neurones, comme Whisper, maîtrise des centaines de langues et ressemble au modèle standard de l'univers : tout est équilibré. Mais l'apprentissage d'une langue rare rompt cet équilibre : elle devient un trou noir qui attire toutes les ressources d'apprentissage. Le réseau commence à oublier les autres langues.
La méthode Unified Gradient Projection (UGP) empêche ce déséquilibre. Elle agit comme un champ gravitationnel qui répartit uniformément l'« attention » entre les langues. Les gradients — les directions d'ajustement du réseau — ne penchent pas en faveur d'une seule langue, et la courbure de l'espace-temps des connaissances reste homogène. L'entropie de l'oubli — la mesure du désordre — tend vers zéro.
Étonnamment, le cerveau humain résout un problème similaire pendant le sommeil : en traitant les expériences de la journée, il renforce uniformément tous les souvenirs pour ne rien perdre. UGP fait pour les réseaux de neurones ce que le sommeil fait pour les humains.
Le cerveau humain, lorsqu'il apprend une nouvelle langue, peut temporairement « désactiver » l'ancienne — c'est ce qu'on appelle l'interférence linguistique. Les réseaux de neurones souffrent d'un effet similaire, mais contrairement à nous, sans méthodes spéciales, ils oublient pour toujours.
L'assistant idéal C-3PO de « Star Wars » connaît des millions de langues et ne les mélange jamais — peut-être qu'il a un équivalent de l'UGP intégré.