Réseaux de neurones et langue commune : comment éliminer la confusion des mots pour une recherche rapide ✛
Un même mot, écrit avec une majuscule ou une minuscule, laisse un puissant réseau de neurones perplexe. Pourquoi ? Parce qu'il découpe le texte en petits morceaux (tokens) et considère « Chat » et « chat » comme des univers différents. C'est ce qu'on appelle la fracture du vocabulaire — l'un des principaux problèmes de la recherche rapide.
Dans la recherche parcimonieuse, la requête et les documents sont transformés en vecteurs où la plupart des nombres sont des zéros, seuls les mots-clés comptent. C'est rapide comme un index alphabétique dans un livre, mais sensible à la façon dont le texte est découpé. Les nouveaux modèles comme ModernBERT excellent dans les tâches complexes, mais pour une telle recherche, leur vocabulaire est trop bigarré. Chaque mot se décline en dizaines de variantes : casse, fautes de frappe, formes rares. Le réseau gaspille son énergie à cataloguer au lieu de chercher le sens. C'est une tour de Babel sans langue commune.
La méthode Vocabulary Transfer agit comme un traducteur. D'abord, on choisit un vocabulaire intermédiaire simple — comme celui de l'ancien modèle BERT sans distinction de casse, où « Token » et « token » sont un seul token. Ensuite, on construit un pont sémantique. Pour les tokens communs, on copie les représentations existantes, et pour les nouveaux, on les assemble comme une moyenne des « ancres » les plus proches. Un algorithme spécial (sparsemax) ne garde que les connexions les plus fortes, en mettant à zéro le bruit. Ensuite, le modèle est brièvement réentraîné : seulement 500 étapes avec masquage (environ 0,2 % de l'entraînement initial). La touche finale — calibrage des activations : on ajuste les réglages pour que les neurones du réseau ne s'endorment pas définitivement.
Résultat : ModernBERT-VT atteint 52,4 points sur l'échelle nDCG sur les tests BEIR — un gain de 4,7 points. La méthode réanime des modèles désespérés. Un autre géant, RoBERTa-large, affichait initialement un piètre 1,4 point, et après le transfert, il bondit à 51,3. Curieusement, sans calibrage des activations, tout retombe à 48,8. Ainsi, en surmontant la confusion des formes de mots, le réseau de neurones parle enfin le langage de la recherche précise et rapide. Et nous trouvons plus vite ce que nous cherchons.
Mettre simplement en minuscules ne suffit pas : le mot « Halloween » se fragmente en « hall », « ow », « een », perdant son sens. VT résout le problème de manière systématique.