Вы пробуете блюдо в ресторане, но меню не видели. Задаёте официанту вопросы — слишком солёное? с какими специями? — и по ответам пытаетесь угадать, что за повар его готовил. Примерно так же исследователи изучают современные нейросети, когда доступ к ним есть только через API (программный интерфейс, где можно задать вопрос и получить ответ, но нельзя заглянуть внутрь).
Но не все вопросы одинаково полезны. Спросите «это вкусно?» — и ответ ничего не скажет о поваре. Спросите «какой температуры была подача?» — и по ответу можно отличить шеф-повара от стажёра. Авторы работы нашли математический способ отделить зёрна от плевел: они ввели понятие дискриминационного фактора, который показывает, насколько хорошо набор вопросов различает модели. Если фактор высок, вероятность случайного угадывания падает экспоненциально с каждым новым вопросом — как если бы вы с каждым укусом всё точнее определяли, кто стоял у плиты.
Метод проверили на трёх задачах аудита (проверки свойств модели), и везде параметры фактора точно предсказали, как быстро будет расти точность. А затем самое интересное: исследователи отобрали вопросы по величине дискриминационного фактора, и порядок их эффективности совпал с идеальным, который можно было бы получить, только зная правильные ответы заранее. Даже в полной темноте чёрного ящика можно нащупать правильные вопросы — и быстро понять, с какой системой мы говорим.
Экспоненциальное падение вероятности ошибки означает, что после 20 хороших вопросов вы будете угадывать модель с точностью, сравнимой с отпечатком пальца — хотя изначально не знали о ней ничего.
В рассказе Айзека Азимова «Вопрос» суперкомпьютер Мультивак отвечает на любые вопросы, но только если они правильно сформулированы — иначе ответ бесполезен.