Une balance pour les pensées : comment mesurer si une interface neuronale parle vraiment ✛

‹›

Dans les années 1980, le concours DARPA de reconnaissance vocale a mis fin au débat entre les méthodes statistiques et les règles écrites à la main, établissant une norme unique pour tout le domaine. Pour les interfaces neuronales de parole, qui traduisent l'activité cérébrale en mots, un tel étalon commun n'existait pas jusqu'à présent : chaque système utilise son propre vocabulaire, sa méthode d'enregistrement et son type de parole. Les comparer entre eux est aussi difficile que de comparer des balances qui mesurent en kilogrammes et en livres, sans connaître le taux de conversion. La nouvelle métrique OVMI propose ce taux : elle évalue la quantité d'informations sur le mot envisagé que le décodeur transmet, en tenant compte non seulement de la précision, mais aussi des mots qui sont réellement pris en charge.

OVMI fonctionne comme une balance à deux plateaux. Sur un plateau, on place la précision du décodage : la probabilité que le système reconnaisse correctement un mot. Sur l'autre, la couverture lexicale : la proportion de mots de la distribution de référence que le système peut potentiellement produire. La distribution de référence correspond aux probabilités des mots que l'utilisateur souhaite dire dans la vie réelle, par exemple les fréquences des mots dans le langage courant. Le produit de ces deux grandeurs donne OVMI. Si le vocabulaire est petit mais la précision élevée, la balance affichera peu : le système ne peut pas transmettre une grande partie de ce qui est envisagé. Si le vocabulaire est énorme mais la précision faible, la balance penchera également : les erreurs consomment l'information. Seul l'équilibre entre les deux plateaux donne une mesure honnête de la communication.

L'application d'OVMI à 11 systèmes existants a révélé un tableau surprenant. Les interfaces invasives avec un grand vocabulaire de 125 000 mots transmettent entre 72 % et 93,7 % de l'information de la distribution de référence, tandis que les systèmes avec 50 mots ne transmettent que 2,4 % à 6,7 %. Mais le choix de la distribution de référence change tout : le même système de 50 mots de Willett transmet 6,4 % pour la parole générale, mais 40,4 % pour la communication clinique, où seules des phrases de base comme « j'ai mal » ou « j'ai soif » sont nécessaires. Cela montre que l'utilité d'une interface dépend de qui l'utilise et dans quelle situation.

OVMI permet de voir les progrès de tout le domaine, et non seulement de certains benchmarks. Il s'avère que la croissance des systèmes invasifs est principalement due à l'expansion du vocabulaire, et non à l'amélioration de la précision. C'est une conclusion importante pour les développeurs : au lieu d'ajuster sans cesse la précision sur un ensemble de mots fixe, on peut élargir le vocabulaire, et le bénéfice global pour l'utilisateur augmentera. La métrique montre également que les décodeurs non invasifs ne transmettent actuellement que 0,3 à 3,6 % de l'information, c'est-à-dire qu'ils en sont au tout début du chemin.

La balance OVMI ne remplace pas les autres métriques, mais fournit une échelle commune pour comparer tous les systèmes. Tout comme le concours DARPA dans les années 1980 a standardisé la reconnaissance vocale, OVMI pourrait devenir la norme de reporting pour les interfaces neuronales de parole. À l'avenir, elle pourrait être étendue à l'information contextuelle, lorsque la probabilité d'un mot dépend des mots précédents. La balance deviendrait alors encore plus précise, pesant non seulement des mots individuels, mais aussi des phrases entières que la personne souhaite dire.