52.4 nDCG@10 — такой результат показывает ModernBERT после процедуры Vocabulary Transfer. Ещё вчера он путался в регистрах, а сегодня обошёл лучшие разреженные поисковики.

Нейросеть проваливает поиск, потому что не может договориться о словах. Token и token для неё — две разные вселенные. Это словарный разрыв: мощный трансформер учит множество бесполезных форм, вместо того чтобы цепляться за смысл.

Разреженный поиск — это когда запрос и документы превращают в векторы, похожие на инвертированный индекс: большинство компонент нули, и лишь немногие ключевые слова несут вес. Такой подход быстр и интерпретируем, но требователен к словарю. Казалось бы, чем сильнее нейросеть, тем лучше поиск. Однако графики лукавят: свежий ModernBERT, обходящий BERT в плотном поиске, в разреженном систематически уступает старому BERT-base-uncased. Причина — в токенизаторе. Современные модели, нацеленные на безошибочное восстановление текста, раздувают словарь: регистр, опечатки, редкие формы создают сотни вариантов для одного понятия. Получается вавилонское смешение, где «общего языка» просто нет.

Метод Vocabulary Transfer (VT) действует как опытный переводчик. Сначала выбирают целевой язык — нормализованный словарь от BERT-base-uncased, где «Token» и «token» слиты в одно. Затем строят семантический мост. Для общих токенов эмбеддинги копируют. Для новых — синтезируют как взвешенную комбинацию ближайших «якорей» из общего пересечения. Веса даёт sparsemax — оператор, который обнуляет слабые связи, оставляя только самых похожих соседей. Это сохраняет топологию смыслового пространства. Короткое дообучение с маскированием — всего 500 шагов — и модель осваивает новый язык. Финальный штрих — калибровка активационного потенциала (APC): смещение подкручивают так, чтобы около 40% нейронов реагировали, избегая «мёртвых зон» и коллапса представлений.

На бенчмарке BEIR ModernBERT-VT достигает 52.4 nDCG — прирост +4.7 пункта к стандартному SPLADE. Метод реанимирует даже безнадёжные модели. RoBERTa-large с его регистрозависимым BPE-словарём показывал жалкие 1.4 nDCG, а после переноса взлетает до 51.3. BERT-cased — с 10.6 до 50.2. Любопытно, что без калибровки APC обученная модель скатывается до 48.8. VT также ставит рекорд для безинференсных архитектур: 51.5 nDCG, когда кодировщик запроса зафиксирован.

Словарный дизайн оказывается не архитектурной мелочью, а фундаментальным узким местом нейросетевого поиска. Теоретическая рамка с радемахеровской сложностью подтверждает: нормализация словаря, сохраняющая семантику, улучшает обобщение. Vocabulary Transfer превращается в универсальный мост, дающий мощным моделям общий язык с разреженными задачами. В перспективе — автоматический подбор словарей, объединение плотных и разреженных подходов, масштабирование до гигантских систем. Так, преодолев смешение словоформ, нейросеть наконец заговаривает на языке точного и быстрого поиска.