В 1980-х годах соревнование DARPA по распознаванию речи положило конец спору между статистическими методами и рукописными правилами, задав единый стандарт для всей области. Для речевых нейроинтерфейсов, переводящих мозговую активность в слова, такого общего эталона до сих пор не было: каждая система использует свой словарь, способ записи и тип речи. Сравнить их между собой так же трудно, как сравнить весы, измеряющие в килограммах и в фунтах, не зная курса перевода. Новая метрика OVMI предлагает такой курс: она оценивает, сколько информации о задуманном слове передаёт декодер, учитывая не только точность, но и то, какие слова вообще поддерживаются.

OVMI работает как весы с двумя чашами. На одну чашу кладут точность декодирования: вероятность того, что система правильно распознаёт слово. На другую — лексическое покрытие: долю слов из эталонного распределения, которые система в принципе может выдать. Эталонное распределение — это вероятности слов, которые пользователь хочет сказать в реальной жизни, например, частоты слов в обычной речи. Произведение этих двух величин и даёт OVMI. Если словарь маленький, но точность высокая, весы покажут мало: система не может передать большую часть задуманного. Если словарь огромный, но точность низкая, весы тоже склонятся вниз: ошибки съедают информацию. Только баланс обеих чаш даёт честную меру коммуникации.

Применение OVMI к 11 существующим системам выявило удивительную картину. Инвазивные интерфейсы с большим словарём в 125 тысяч слов передают от 72% до 93.7% информации эталонного распределения, тогда как системы с 50 словами — лишь от 2.4% до 6.7%. Но выбор эталонного распределения меняет всё: та же 50-словная система Уиллетта передаёт 6.4% для общей речи, но 40.4% для клинической коммуникации, где нужны только базовые фразы вроде «больно» или «хочу пить». Это показывает, что польза интерфейса зависит от того, кто им пользуется и в какой ситуации.

OVMI позволяет увидеть прогресс всей области, а не только отдельных бенчмарков. Оказывается, рост инвазивных систем шёл в основном за счёт расширения словаря, а не за счёт улучшения точности. Это важный вывод для разработчиков: вместо того чтобы бесконечно настраивать точность на фиксированном наборе слов, можно расширять словарь, и общая польза для пользователя вырастет. Метрика также показывает, что неинвазивные декодеры пока передают лишь 0.3–3.6% информации, то есть находятся в самом начале пути.

Весы OVMI не заменяют другие метрики, но дают общую шкалу для сравнения любых систем. Как соревнование DARPA в 1980-х стандартизировало распознавание речи, так OVMI может стать стандартом отчётности для речевых нейроинтерфейсов. В будущем её можно расширить на контекстную информацию, когда вероятность слова зависит от предыдущих слов. Тогда весы станут ещё точнее, взвешивая не только отдельные слова, но и целые фразы, которые человек хочет сказать.