Una misma palabra, escrita con mayúscula o minúscula, deja perpleja a una potente red neuronal. ¿Por qué? Porque divide el texto en trozos-tokens y considera «Gato» y «gato» como universos distintos. Esta es la brecha de vocabulario — uno de los principales problemas de la búsqueda rápida.

En la búsqueda dispersa, la consulta y los documentos se convierten en vectores donde la mayoría de los números son ceros y solo las palabras clave son significativas. Es rápida como un índice alfabético en un libro, pero sensible a cómo se trocea el texto. Nuevos modelos como ModernBERT son excelentes en tareas difíciles, pero para este tipo de búsqueda su vocabulario es demasiado variopinto. Cada palabra se fragmenta en decenas de variantes: mayúsculas/minúsculas, erratas, formas raras. La red neuronal gasta energía en una catalogación vacía en lugar de buscar el significado. Se produce un caos babilónico donde no hay un lenguaje común.

El método Vocabulary Transfer actúa como un traductor. Primero se elige un vocabulario intermediario sencillo, como el de un antiguo modelo BERT sin distinción de mayúsculas, donde «Token» y «token» son el mismo token. Luego se construye un puente semántico. Para los tokens comunes se copian las representaciones existentes, y para los nuevos se crean como promedio de los «anclajes» más cercanos. Un algoritmo especial (sparsemax) conserva solo las conexiones más fuertes, anulando el ruido. Después, se reentrena el modelo brevemente: solo 500 pasos con enmascaramiento (aproximadamente el 0.2% del entrenamiento original). El toque final es la calibración de activaciones: se ajustan las configuraciones para que las neuronas de la red no se duerman para siempre.

Resultado: ModernBERT-VT alcanza 52.4 puntos en la escala nDCG en las pruebas BEIR, un incremento de 4.7 puntos. El método resucita modelos desahuciados. Otro gigante, RoBERTa-large, originalmente obtenía unos míseros 1.4 puntos, pero tras la transferencia se dispara hasta 51.3. Curiosamente, sin la calibración de activaciones todo se desploma a 48.8. Así, superada la confusión en las formas de las palabras, la red neuronal por fin habla el lenguaje de la búsqueda precisa y rápida. Y nosotros encontramos lo que buscamos más rápido.