
Attention mechanism is a computational process that dynamically focuses on relevant parts of input data, used in gaze coordination, sensory processing, and motor control.Le mécanisme d'attention est une technique informatique qui permet au modèle de pondérer dynamiquement l'importance de différentes parties des données d'entrée. Contrairement aux convolutions fixes, l'attention s'adapte à un exemple concret : le mot « grue » (pour l'eau ou le chantier) recevra un contexte différent selon la situation. Tel un metteur en scène déplaçant le projecteur d'un acteur à l'autre, l'attention redistribue la lumière en fonction de la mise en scène.
Le concept d'attention en IA remonte aux idées des années 1960 sur la recherche visuelle. Dans les réseaux neuronaux, les premières implémentations furent les systèmes d'alignement pour la traduction automatique (Bahdanau et al., 2014). Ensuite, le mécanisme est devenu modulaire avec « Attention is All You Need » (2017), où il a été transformé en un bloc de construction autonome — l'auto-attention dans le transformeur.
Trois matrices sont calculées : les requêtes Q, les clés K, les valeurs V (projections linéaires des entrées). Pour chaque requête, on calcule les produits scalaires avec toutes les clés, on les divise par √d_k, puis on applique softmax pour obtenir une distribution de probabilité. Ces probabilités servent de poids pour sommer les valeurs. L'attention multi-tête répète la procédure plusieurs fois avec différentes projections, capturant ainsi divers types de relations.
Les caméras intelligentes qui suivent le mouvement et les systèmes de traduction qui saisissent le sens d'une longue phrase fonctionnent exactement ainsi.
Dans le système visuel humain, il existe aussi un analogue : l'attention sélective ; le cerveau amplifie le signal de l'objet désiré et supprime le reste.
| Q | variable | Query matrix — query matrix |
| K | variable | Key matrix — key matrix |
| V | variable | Value matrix — value matrix |
| d_k | variable | Dimension of keys — dimension |
| softmax | opérateur | Normalizes rows to probability distributions — softmax function |
| ⊤ | opérateur | Matrix transpose — transpose operator |
| √ | opérateur | Square root — racine carrée |
















