
Attention mechanism is a computational process that dynamically focuses on relevant parts of input data, used in gaze coordination, sensory processing, and motor control.آلية الانتباه (Attention Mechanism) هي تقنية حسابية تسمح للنموذج بترجيح أهمية أجزاء مختلفة من البيانات المدخلة ديناميكيًا. على عكس الالتفافات الثابتة، يتكيف الانتباه مع كل مثال: كلمة «عين» (الباصرة أو ينبوع الماء) ستحصل على سياق مختلف حسب الجملة. مثل المخرج الذي يوجه الكشاف من ممثل إلى آخر، يعيد الانتباه توزيع الضوء وفقًا للمشهد.
يعود مفهوم الانتباه في الذكاء الاصطناعي إلى أفكار الستينيات حول البحث البصري. في الشبكات العصبية، كانت أولى التطبيقات هي أنظمة المحاذاة للترجمة الآلية (باهدانو وآخرون، 2014). ثم أصبحت الآلية معيارية مع ورقة «الانتباه هو كل ما تحتاج» (Attention is All You Need) عام 2017، حيث تحولت إلى وحدة بناء قائمة بذاتها — الانتباه الذاتي في المحول.
يتم حساب ثلاث مصفوفات: الاستعلامات Q، والمفاتيح K، والقيم V (إسقاطات خطية للمدخلات). لكل استعلام، تُحسب حواصل الضرب القياسية مع جميع المفاتيح، وتُقسم على √d_k، ثم تُحول باستخدام دالة softmax إلى توزيع احتمالي. تُستخدم هذه الاحتمالات كأوزان لجمع القيم. ويكرر الانتباه متعدد الرؤوس هذا الإجراء عدة مرات بإسقاطات مختلفة، لالتقاط أنواع متعددة من العلاقات.
الكاميرات الذكية التي تتابع الحركة، وأنظمة الترجمة التي تلتقط معنى جملة طويلة، تعمل بهذه الطريقة تمامًا.
في الجهاز البصري البشري يوجد أيضًا ما يشبه ذلك — الانتباه الانتقائي: يعزز الدماغ الإشارة القادمة من الشيء المطلوب ويكبت البقية.
| Q | متغير | Query matrix — query matrix |
| K | متغير | Key matrix — key matrix |
| V | متغير | Value matrix — value matrix |
| d_k | متغير | Dimension of keys — بُعد |
| softmax | مؤثر | Normalizes rows to probability distributions — softmax function |
| ⊤ | مؤثر | Matrix transpose — transpose operator |
| √ | مؤثر | Square root — جذر تربيعي |
















