خريطة الكنز التي ترسمها الشبكة العصبية تعد بإظهار مكان دفن الذهب. ولكن إذا نُقلت الخريطة إلى جزيرة أخرى، فقد تشير العلامات إلى الفراغ. هذا بالضبط ما حدث مع تفسيرات النموذج الذي يقيس النبض من تسجيل الفيديو للوجه.

تلتقط الشبكة العصبية RhythmFormer التغيرات الطفيفة في لون الجلد الناتجة عن نبضات القلب. لفهم ما الذي تنظر إليه، طبق العلماء أربع طرق للتفسير وقاسوا كميتين: تغطية الجلد (نسبة انتباه النموذج التي تقع على الوجه) ومعامل الدقة SaCo (مدى توافق ترتيب أهمية المناطق مع التأثير الفعلي على التوقع).

ومع ذلك، داخل نفس المشارك، لم تكن تغطية الجلد ولا SaCo مرتبطة بخطأ النبض: 186 من أصل 252 معاملًا كانت أقل من |ρ|=0.10. خريطة الكنز لم تُظهر أين دفن الذهب بالضبط بالنسبة لشخص معين.

ولكن على مستوى ثمانية سيناريوهات، تحركت تغطية الجلد بطريقة Beyond Intuition جنبًا إلى جنب مع جودة التقييم: ρ=−0.43 للخطأ، و+0.57 لارتباط الموجة، و+0.43 لنسبة الإشارة إلى الضوضاء. التفسيرات تحمل معلومات إضافية، لكنها لا تحل محل مقاييس الدقة.

هذه هي المرة الأولى التي يختبر فيها العمل بشكل منهجي نقل التفسيرات بين مجموعات البيانات وعلاقتها بموثوقية النموذج. ستساعد النتائج في تجنب الثقة الزائفة في سلوك الشبكات العصبية التي تراقب الصحة من خلال الوجه.