Pruebas un plato en un restaurante, pero no has visto el menú. Le haces preguntas al camarero: ¿está muy salado? ¿qué especias tiene? — y por las respuestas intentas adivinar qué chef lo preparó. Algo así hacen los investigadores con las redes neuronales modernas cuando el acceso es solo a través de API (interfaz de programación donde puedes hacer una pregunta y obtener una respuesta, pero no puedes mirar dentro).
Pero no todas las preguntas son igual de útiles. Pregunta «¿está rico?» y la respuesta no te dirá nada sobre el chef. Pregunta «¿a qué temperatura se sirvió?» y por la respuesta podrás distinguir al chef ejecutivo del becario. Los autores del trabajo encontraron una forma matemática de separar el trigo de la paja: introdujeron el concepto de factor discriminante, que indica cuán bien un conjunto de preguntas distingue entre modelos. Si el factor es alto, la probabilidad de acertar por azar cae exponencialmente con cada nueva pregunta, como si con cada bocado identificaras con más precisión quién estuvo en los fogones.
El método se probó en tres tareas de auditoría (verificación de propiedades del modelo), y en todas los parámetros del factor predijeron con exactitud la rapidez con la que crecería la precisión. Y luego lo más interesante: los investigadores seleccionaron preguntas según el valor del factor discriminante, y el orden de su eficacia coincidió con el ideal, que solo se podría obtener conociendo de antemano las respuestas correctas. Incluso en la oscuridad total de la caja negra se pueden encontrar las preguntas correctas, y entender rápidamente con qué sistema estamos hablando.
La caída exponencial de la probabilidad de error significa que después de 20 buenas preguntas adivinarás el modelo con una precisión comparable a una huella dactilar, aunque inicialmente no supieras nada de él.
En el relato de Isaac Asimov «Pregunta», la supercomputadora Multivac responde a cualquier pregunta, pero solo si está bien formulada; de lo contrario, la respuesta es inútil.