52.4 nDCG@10: ese es el resultado que muestra ModernBERT tras el procedimiento de Vocabulary Transfer. Ayer mismo se confundía con las mayúsculas, y hoy supera a los mejores buscadores dispersos.

La red neuronal falla en la búsqueda porque no logra ponerse de acuerdo sobre las palabras. Token y token son para ella dos universos distintos. Esta es la brecha de vocabulario: un potente transformador aprende multitud de formas inútiles, en lugar de aferrarse al significado.

La búsqueda dispersa consiste en convertir la consulta y los documentos en vectores parecidos a un índice invertido: la mayoría de las componentes son ceros y solo unas pocas palabras clave tienen peso. Este enfoque es rápido e interpretable, pero exigente con el vocabulario. Podría pensarse que cuanto más potente sea la red neuronal, mejor será la búsqueda. Pero los gráficos engañan: el flamante ModernBERT, que supera a BERT en búsqueda densa, en la dispersa queda sistemáticamente por detrás del viejo BERT-base-uncased. La razón está en el tokenizador. Los modelos modernos, orientados a reconstruir el texto sin errores, inflan el vocabulario: mayúsculas, erratas y formas raras generan centenares de variantes para un mismo concepto. Resulta una confusión babélica donde sencillamente no hay «lenguaje común».

El método Vocabulary Transfer (VT) actúa como un traductor experimentado. Primero se elige la lengua de destino: el vocabulario normalizado de BERT-base-uncased, donde «Token» y «token» se funden en uno. Luego se tiende un puente semántico. Para los tokens comunes se copian los embeddings. Para los nuevos, se sintetizan como una combinación ponderada de las «anclas» más cercanas del solapamiento común. Los pesos los proporciona sparsemax, un operador que anula las conexiones débiles y deja solo los vecinos más parecidos. Esto conserva la topología del espacio semántico. Un breve reentrenamiento con enmascaramiento —solo 500 pasos— y el modelo domina el nuevo lenguaje. El toque final es la calibración del potencial de activación (APC): se ajusta el sesgo para que alrededor del 40% de las neuronas respondan, evitando las «zonas muertas» y el colapso de las representaciones.

En el benchmark BEIR, ModernBERT-VT alcanza 52.4 nDCG, una mejora de +4.7 puntos sobre el SPLADE estándar. El método resucita incluso modelos desahuciados. RoBERTa-large, con su vocabulario BPE sensible a mayúsculas, daba un mísero 1.4 nDCG, y tras la transferencia se dispara hasta 51.3. BERT-cased pasa de 10.6 a 50.2. Curiosamente, sin la calibración APC el modelo entrenado cae a 48.8. VT también establece un récord para arquitecturas sin inferencia: 51.5 nDCG cuando el codificador de la consulta está fijo.

El diseño del vocabulario resulta no ser un detalle arquitectónico menor, sino un cuello de botella fundamental de la búsqueda basada en redes neuronales. El marco teórico con complejidad de Rademacher confirma que normalizar el vocabulario conservando la semántica mejora la generalización. Vocabulary Transfer se convierte en un puente universal que da a los modelos potentes un lenguaje común con las tareas dispersas. En el horizonte se vislumbran la selección automática de vocabularios, la combinación de enfoques densos y dispersos, y el escalado a sistemas gigantes. Así, tras superar la mezcla de formas léxicas, la red neuronal por fin habla el lenguaje de la búsqueda precisa y rápida.