Una balanza para los pensamientos: cómo medir si un neurointerfaz realmente comunica ✛

‹›

En la década de 1980, la competencia de reconocimiento de voz de DARPA puso fin al debate entre métodos estadísticos y reglas escritas a mano, estableciendo un estándar unificado para todo el campo. Para los neurointerfaces del habla, que traducen la actividad cerebral en palabras, no existía hasta ahora un estándar común: cada sistema utiliza su propio vocabulario, método de registro y tipo de habla. Compararlos entre sí es tan difícil como comparar balanzas que miden en kilogramos y en libras sin conocer el tipo de cambio. La nueva métrica OVMI ofrece ese tipo de cambio: evalúa cuánta información sobre la palabra pensada transmite el decodificador, considerando no solo la precisión, sino también qué palabras están soportadas en absoluto.

OVMI funciona como una balanza de dos platillos. En un platillo se coloca la precisión de decodificación: la probabilidad de que el sistema reconozca correctamente una palabra. En el otro, la cobertura léxica: la proporción de palabras de la distribución de referencia que el sistema puede emitir en principio. La distribución de referencia son las probabilidades de las palabras que el usuario quiere decir en la vida real, por ejemplo, las frecuencias de palabras en el habla cotidiana. El producto de estas dos cantidades da OVMI. Si el vocabulario es pequeño pero la precisión es alta, la balanza mostrará poco: el sistema no puede transmitir gran parte de lo que se piensa. Si el vocabulario es enorme pero la precisión es baja, la balanza también se inclinará hacia abajo: los errores consumen información. Solo el equilibrio de ambos platillos proporciona una medida honesta de la comunicación.

La aplicación de OVMI a 11 sistemas existentes reveló un panorama sorprendente. Los interfaces invasivos con un vocabulario grande de 125 mil palabras transmiten entre el 72% y el 93.7% de la información de la distribución de referencia, mientras que los sistemas con 50 palabras transmiten solo entre el 2.4% y el 6.7%. Pero la elección de la distribución de referencia lo cambia todo: el mismo sistema de 50 palabras de Willett transmite el 6.4% para el habla general, pero el 40.4% para la comunicación clínica, donde solo se necesitan frases básicas como "me duele" o "tengo sed". Esto demuestra que la utilidad del interfaz depende de quién lo usa y en qué situación.

OVMI permite ver el progreso de todo el campo, no solo de puntos de referencia individuales. Resulta que el crecimiento de los sistemas invasivos se debió principalmente a la expansión del vocabulario, no a la mejora de la precisión. Esta es una conclusión importante para los desarrolladores: en lugar de ajustar infinitamente la precisión en un conjunto fijo de palabras, se puede ampliar el vocabulario y el beneficio general para el usuario aumentará. La métrica también muestra que los decodificadores no invasivos transmiten actualmente solo entre el 0.3% y el 3.6% de la información, es decir, están al comienzo del camino.

La balanza OVMI no reemplaza otras métricas, pero proporciona una escala común para comparar cualquier sistema. Así como la competencia DARPA en la década de 1980 estandarizó el reconocimiento de voz, OVMI podría convertirse en el estándar de reporte para los neurointerfaces del habla. En el futuro, podría ampliarse para incluir información contextual, donde la probabilidad de una palabra depende de las palabras anteriores. Entonces la balanza se volverá aún más precisa, sopesando no solo palabras individuales, sino frases completas que la persona quiere decir.