Vous goûtez un plat au restaurant, mais vous n'avez pas vu le menu. Vous posez des questions au serveur — trop salé ? avec quelles épices ? — et à partir des réponses, vous essayez de deviner quel chef l'a préparé. C'est à peu près ainsi que les chercheurs étudient les réseaux de neurones modernes lorsqu'ils n'y ont accès que par API (interface de programmation où l'on peut poser une question et obtenir une réponse, mais sans pouvoir regarder à l'intérieur).

Mais toutes les questions ne se valent pas. Demandez « c'est bon ? » — et la réponse ne vous dira rien sur le chef. Demandez « à quelle température a-t-il été servi ? » — et la réponse permettra de distinguer le chef d'un stagiaire. Les auteurs de l'étude ont trouvé une méthode mathématique pour séparer le bon grain de l'ivraie : ils ont introduit la notion de facteur de discrimination, qui indique à quel point un ensemble de questions distingue les modèles. Si le facteur est élevé, la probabilité de deviner au hasard diminue exponentiellement à chaque nouvelle question — comme si, à chaque bouchée, vous identifiiez plus précisément qui était aux fourneaux.

La méthode a été testée sur trois tâches d'audit (vérification des propriétés d'un modèle), et dans chaque cas, les paramètres du facteur ont prédit avec précision la vitesse à laquelle la précision augmenterait. Puis vient le plus intéressant : les chercheurs ont sélectionné les questions en fonction de la valeur du facteur de discrimination, et leur ordre d'efficacité correspondait à l'ordre idéal, qui n'aurait pu être obtenu qu'en connaissant les bonnes réponses à l'avance. Même dans l'obscurité totale de la boîte noire, on peut tâtonner pour trouver les bonnes questions — et comprendre rapidement à quel système on parle.