تتذوق طبقًا في مطعم دون أن ترى القائمة. تسأل النادل أسئلة — هل هو مالح أكثر من اللازم؟ ما البهارات المستخدمة؟ — وتحاول من إجاباته أن تخمن أي طاهٍ أعدّه. هكذا تقريبًا يدرس الباحثون الشبكات العصبية الحديثة عندما يكون الوصول إليها فقط عبر API (واجهة برمجة تطبيقات، حيث يمكنك طرح سؤال والحصول على إجابة، لكن لا يمكنك النظر إلى الداخل).
لكن ليست كل الأسئلة مفيدة بنفس القدر. اسأل «هل هو لذيذ؟» — ولن تخبرك الإجابة شيئًا عن الطاهي. اسأل «في أي حرارة قُدِّم الطبق؟» — ويمكنك من الإجابة أن تميز رئيس الطهاة عن المتدرب. وجد مؤلفو العمل طريقة رياضية لفصل الغث عن السمين: قدموا مفهوم عامل التمييز (discrimination factor)، الذي يوضح مدى جودة مجموعة أسئلة في التفريق بين النماذج. إذا كان العامل مرتفعًا، فإن احتمال التخمين العشوائي ينخفض بشكل أسي مع كل سؤال جديد — كما لو كنت مع كل قضمة تحدد بدقة أكبر من كان يقف خلف الموقد.
اختبروا الطريقة على ثلاث مهام تدقيق (فحص خصائص النموذج)، وفي كل مرة تنبأت معاملات العامل بدقة بمدى سرعة نمو الدقة. ثم جاء الجزء الأكثر إثارة: اختار الباحثون الأسئلة وفقًا لحجم عامل التمييز، وكان ترتيب فعاليتها مطابقًا للترتيب المثالي الذي لا يمكن الحصول عليه إلا بمعرفة الإجابات الصحيحة مسبقًا. حتى في الظلام الدامس للصندوق الأسود، يمكنك أن تلمس الأسئلة الصحيحة — وتفهم بسرعة النظام الذي تتحدث معه.
الانخفاض الأسي في احتمال الخطأ يعني أنه بعد 20 سؤالًا جيدًا، ستخمن النموذج بدقة تضاهي بصمة الإصبع — رغم أنك لم تكن تعرف عنه شيئًا في البداية.
في قصة إسحاق عظيموف «السؤال»، يجيب الحاسوب العملاق مولتيفاك على أي سؤال، لكن فقط إذا كان السؤال مصاغًا بشكل صحيح — وإلا كانت الإجابة عديمة الفائدة.