52,4 nDCG@10 — c'est le résultat que ModernBERT affiche après la procédure Vocabulary Transfer. Hier encore, il se perdait dans les registres, aujourd'hui il dépasse les meilleurs moteurs de recherche sparse.

Le réseau de neurones échoue dans la recherche parce qu'il n'arrive pas à se mettre d'accord sur les mots. Token et token sont pour lui deux univers distincts. C'est le fossé lexical : un puissant transformeur apprend une multitude de formes inutiles au lieu de s'accrocher au sens.

La recherche sparse, c'est quand la requête et les documents sont transformés en vecteurs semblables à un index inversé : la plupart des composantes sont nulles, et seuls quelques mots-clés portent du poids. Cette approche est rapide et interprétable, mais exigeante en vocabulaire. On pourrait croire que plus le réseau de neurones est puissant, meilleure est la recherche. Pourtant, les graphiques mentent : le récent ModernBERT, qui surpasse BERT en recherche dense, est systématiquement inférieur à l'ancien BERT-base-uncased en recherche sparse. La raison réside dans le tokeniseur. Les modèles modernes, conçus pour une reconstruction parfaite du texte, gonflent le vocabulaire : casse, fautes de frappe, formes rares créent des centaines de variantes pour un même concept. C'est une tour de Babel où il n'existe tout simplement pas de « langue commune ».

La méthode Vocabulary Transfer (VT) agit comme un interprète expérimenté. D'abord, on choisit la langue cible — un vocabulaire normalisé issu de BERT-base-uncased, où « Token » et « token » sont fusionnés en un seul. Ensuite, on construit un pont sémantique. Pour les tokens communs, les plongements sont copiés. Pour les nouveaux, on les synthétise comme une combinaison pondérée des « ancres » les plus proches de l'intersection commune. Les poids sont fournis par sparsemax — un opérateur qui annule les connexions faibles, ne laissant que les voisins les plus similaires. Cela préserve la topologie de l'espace sémantique. Un court réglage avec masquage — seulement 500 pas — et le modèle maîtrise la nouvelle langue. La touche finale est le calibrage du potentiel d'activation (APC) : on ajuste le biais pour qu'environ 40 % des neurones réagissent, évitant les « zones mortes » et l'effondrement des représentations.

Sur le banc d'essai BEIR, ModernBERT-VT atteint 52,4 nDCG — un gain de +4,7 points par rapport au SPLADE standard. La méthode ressuscite même les modèles désespérés. RoBERTa-large, avec son vocabulaire BPE sensible à la casse, affichait un piètre 1,4 nDCG, et après le transfert, il s'envole à 51,3. BERT-cased passe de 10,6 à 50,2. Curieusement, sans le calibrage APC, le modèle entraîné retombe à 48,8. VT établit également un record pour les architectures sans inférence : 51,5 nDCG lorsque l'encodeur de requête est fixé.

La conception du vocabulaire s'avère être non pas un détail architectural, mais un goulot d'étranglement fondamental de la recherche par réseaux de neurones. Le cadre théorique avec la complexité de Rademacher confirme : la normalisation du vocabulaire, qui préserve la sémantique, améliore la généralisation. Vocabulary Transfer devient un pont universel, donnant aux modèles puissants une langue commune avec les tâches sparse. À terme — sélection automatique des vocabulaires, fusion des approches denses et sparses, passage à l'échelle pour des systèmes géants. Ainsi, surmontant la confusion des formes de mots, le réseau de neurones parle enfin la langue de la recherche précise et rapide.