concept

mécanisme d'attention

Attention mechanism is a computational process that dynamically focuses on relevant parts of input data, used in gaze coordination, sensory processing, and motor control.
28 articles liés · 1 formules

Description

Le mécanisme d'attention est une technique informatique qui permet au modèle de pondérer dynamiquement l'importance de différentes parties des données d'entrée. Contrairement aux convolutions fixes, l'attention s'adapte à un exemple concret : le mot « grue » (pour l'eau ou le chantier) recevra un contexte différent selon la situation. Tel un metteur en scène déplaçant le projecteur d'un acteur à l'autre, l'attention redistribue la lumière en fonction de la mise en scène.

Histoire

Le concept d'attention en IA remonte aux idées des années 1960 sur la recherche visuelle. Dans les réseaux neuronaux, les premières implémentations furent les systèmes d'alignement pour la traduction automatique (Bahdanau et al., 2014). Ensuite, le mécanisme est devenu modulaire avec « Attention is All You Need » (2017), où il a été transformé en un bloc de construction autonome — l'auto-attention dans le transformeur.

Comment ça marche

Trois matrices sont calculées : les requêtes Q, les clés K, les valeurs V (projections linéaires des entrées). Pour chaque requête, on calcule les produits scalaires avec toutes les clés, on les divise par √d_k, puis on applique softmax pour obtenir une distribution de probabilité. Ces probabilités servent de poids pour sommer les valeurs. L'attention multi-tête répète la procédure plusieurs fois avec différentes projections, capturant ainsi divers types de relations.

En pratique

Les caméras intelligentes qui suivent le mouvement et les systèmes de traduction qui saisissent le sens d'une longue phrase fonctionnent exactement ainsi.

Anecdote

Dans le système visuel humain, il existe aussi un analogue : l'attention sélective ; le cerveau amplifie le signal de l'objet désiré et supprime le reste.

Concept graph →

Formules

$$\text{Attention}(Q, K, V) = \text{softmax}\left(\frac{QK^\top}{\sqrt{d_k}}\right)V$$
Attention weights are computed from queries and keys, scaled by dimension, then applied to values.
Ce qu'il y a dans la formule
QvariableQuery matrix — query matrix
KvariableKey matrix — key matrix
VvariableValue matrix — value matrix
d_kvariableDimension of keys — dimension
softmaxopérateurNormalizes rows to probability distributions — softmax function
⊤opérateurMatrix transpose — transpose operator
√opérateurSquare root — racine carrée
w_t(u,v)=\max(0,\frac{(q_t^v)^\topk_t^u}{\sqrt{r}}z_t^u) · 2607.01148

Articles liés · 37

Le piston qui guette le vide
Un piston dans un cylindre rempli de gaz se déplace généralement lorsque le gaz exerce une pression sur lui. Mais il existe un piston qui se déplace lorsqu'il y a du vide devant lui. Toutes les cinq secondes, il vérifie l'espace contre sa paroi, et si personne ne s'y trouve, il fait un pas vers l'intérieur, comprimant le gaz sans effort mécanique direct.
Quand être ensemble est un choix
Deux personnes conviennent de se rencontrer, mais chacune a ses propres affaires. L'une doute : et si l'autre ne venait pas ? Elle décide de ne pas y aller. L'autre pense de même. La rencontre n'a pas lieu. Voilà le mécanisme simple qu'analysent les auteurs de l'étude : une tâche commune exige que chacun y consacre du temps, mais le bénéfice dépend de la participation du partenaire.
Physique biologique2026-08-081 minarXiv:2608.08096express
L'oreille, un amplificateur vivant
Le son pénètre dans l'oreille et atteint une fine membrane à l'intérieur de la cochlée, l'organe spiral de l'oreille interne. Cette membrane ne se contente pas de vibrer comme une corde. Elle pousse elle-même les oscillations lorsqu'elles sont faibles, et cesse de le faire lorsqu'elles sont fortes. Ainsi, l'oreille entend aussi bien un murmure qu'une conversation animée.
Le mouvement influence les décisions
On lance une pièce pour prendre une décision. On reste immobile — la pièce tombe sur pile. On fait quelques pas — et on relance. On pourrait penser que la marche n'influence pas la pièce. Mais que se passerait-il si la promenade elle-même modifiait la fréquence à laquelle on décide de simplement répéter le lancer précédent ? C'est exactement ce que les chercheurs ont testé.
L'intrication se dépêche lentement
L'eau chaude gèle parfois plus vite que l'eau tiède – ce fait étrange est connu sous le nom d'effet Mpemba. On a maintenant trouvé quelque chose de similaire dans le monde quantique : un état avec une intrication faible (un lien quantique particulier entre particules) peut surpasser un état plus intriqué sur le chemin vers le but.
Une pensée lue dans le champ magnétique
Le magnétoencéphalographe, un appareil qui ressemble à un casque muni de centaines de capteurs, capte les faibles champs magnétiques produits par les neurones en activité. Lorsqu'une personne écoute de la parole, ces signaux renferment des empreintes des mots entendus.
La chimie regarde les molécules avec les yeux d'un ordinateur
Prédire le rendement d'une réaction chimique, c'est un peu comme essayer de deviner la récolte en ne connaissant que la composition du sol. Traditionnellement, les chimistes s'appuyaient sur de longues colonnes de nombres – les descripteurs quantiques – qui décrivent l'énergie des électrons mais restent muets sur la forme de la molécule.
Physique quantique2026-07-252 minarXiv:2607.23179express
Une tresse de lumière refroidit un miroir
Un faisceau laser sait non seulement chauffer, mais aussi apaiser le mouvement. Lorsque la lumière entre dans un piège à miroirs, elle exerce une pression sur eux — et si l'on règle correctement la couleur du faisceau, cette pression se transforme en un freinage tout en douceur. C'est ainsi que l'on refroidit de minuscules oscillations mécaniques jusqu'à presque le zéro absolu.
Comment le cerveau dirige l'attention : un modèle de la méditation
Le cerveau d'un méditant, c'est un orchestre, et l'attention, son chef. Lorsque vous êtes concentré sur votre respiration, tous les instruments jouent en harmonie. Mais soudain, une pensée-violoncelle joue une fausse note : c'est la divagation de l'esprit.
Préparer une voix vivante : un jeu de données russe qui apprend aux assistants à ressentir
Les assistants vocaux font souvent penser à un cuisinier qui lit une recette sur un bout de papier sans la moindre once d'appétit. La nouvelle archive de dialogues russes « Dialogues » change la donne : trois comédiens en studio, tels des chefs, ont mixé 20 heures de conversations vivantes avec douze « épices » émotionnelles.
L'IA maîtrise les recettes des transformations chimiques
La préparation d'un plat complexe exige une recette claire : d'abord couper, puis faire revenir, ajouter les épices au bon moment. Les transformations chimiques suivent aussi des recettes pas à pas — des mécanismes où les atomes de carbone et d'hydrogène se réarrangent strictement dans l'ordre.
Apprendre à une caméra à voir plus vite et plus économiquement : traitement vidéo neuromorphique sur puce
Les systèmes modernes de vision artificielle gagnent en autonomie : des ingénieurs ont réussi à implémenter un algorithme de reconnaissance des formes directement sur une puce miniature, évitant ainsi à la caméra de transmettre des données à un ordinateur encombrant.
On reconnaît un mouvement à sa posture, pas à sa trajectoire
Des chercheurs ont pris 16 activités quotidiennes — de la vaisselle aux squats — et ont décomposé les mouvements en composantes élémentaires, un peu comme un spectroscope décompose la lumière en spectre. En comparant trois approches, ils ont trouvé une clé inattendue pour la reconnaissance : une simple image moyenne suffit.
Physique médicale2026-06-072 minarXiv:2606.08618express
Comment plaquer la bobine sur la tête sans se tromper
Une lampe de poche qui traverse la peau et l'os pour activer délicatement les neurones au bon endroit du cerveau : c'est ainsi que fonctionne la stimulation magnétique transcrânienne. Une bobine posée sur la tête génère de brèves impulsions magnétiques qui déclenchent des signaux électriques dans les cellules.
Quand l'esprit dit honnêtement « je ne sais pas »
Une personne regarde une serrure de porte et voit la fente pour la clé. Elle sait qu'on insère la clé et qu'on la tourne. Mais si, au lieu d'une serrure, il y a un panneau tactile, le cadre habituel se brise. La personne ne se trompe pas simplement : elle comprend que la méthode habituelle ne convient pas et peut dire : « Il n'y a pas de place pour une clé ici, il faut une autre approche ».
Physique quantique2026-05-201 minarXiv:2605.21206express
Comment le mouvement apprend à un détecteur à distinguer les côtés
Un détecteur ordinaire de photométrie ne fait pas la différence entre un photon venant de gauche et un autre venant de droite. Mais dès qu'il se met en mouvement, tout change. Imaginez un batelier qui rame entre deux joueurs de flûte jouant la même note.
Régler un moteur moléculaire sans se casser la tête
Une usine où des centaines de minuscules chaînes de montage tournent sans arrêt. Chaque chaîne est un moteur moléculaire qui convertit un carburant chimique en mouvement. Pour que le moteur aille plus vite ou dans la bonne direction, l'ingénieur modifie les réglages — la forme des pièces, la force des interactions.
Marcher au métronome : quand le rythme efface la mémoire du pas
La pièce est silencieuse, seuls résonnent les pas et le comptage intérieur : « un-deux, un-deux ». Au bout d'une minute, la démarche se raidit, les jambes bougent comme des pistons. Dès qu'on oublie de compter et qu'on marche simplement, le corps se détend, le pas retrouve sa fluidité. La différence entre ces deux états n'est pas qu'une impression.
Le cerveau chef d'orchestre : comment la région pariétale change de mode
Le cerveau jongle constamment avec les tâches : tantôt il réagit à un bruit soudain, tantôt il résout une équation, tantôt il se laisse aller à la rêverie. Les scientifiques soupçonnaient depuis longtemps que des bascules entre différents « scénarios » de fonctionnement des réseaux de neurones étaient à l'œuvre, mais il était difficile de les isoler du chaos des signaux électriques.
Deux yeux valent mieux qu'un : quand le réseau de neurones apprend à voir la tumeur
Le médecin scrute l'image du cerveau : quelque part dans l'enchevêtrement des tissus se cache une tumeur. Un regard saisit les petites taches et les contours, l'autre la forme générale et l'emplacement. L'humain combine les deux, mais sur des centaines d'images, c'est épuisant. Le nouveau programme fait la même chose automatiquement.
Traitement du signal2026-04-042 minarXiv:2604.24765express
Le cerveau traducteur : comment différentes personnes perçoivent le même signal
Une personne regarde des lettres clignotantes sur un écran, et l'ordinateur devine laquelle elle a choisie grâce à un pic d'activité cérébrale. C'est un peu comme un interprète qui capte non pas les mots, mais les signaux électriques du cerveau. Mais le cerveau de chacun « parle » avec un accent : chez l'un, le signal est net et précis, chez l'autre, il est faible et flou.
Une poudre qui retient les mouvements
Une poignée de sable sur une table n'est qu'un tas. Mais si on secoue correctement les grains, le tas se comporte comme une mémoire : il retient quel mouvement suit quel autre. Dans cette nouvelle expérience, les particules ont été déplacées de manière cyclique, et après l'entraînement, elles reproduisaient le motif voulu même sans commande complète.
Un détecteur qui ne se fatigue pas
Le détecteur de particules du Grand collisionneur de hadrons fonctionne pendant des années sans s'arrêter. Ses capteurs produisent des montagnes de données à chaque seconde, et il faut repérer rapidement une défaillance — par exemple, une surchauffe ou un canal cassé. Avant, des règles simples surveillaient cela, mais elles faisaient souvent des erreurs.
Gènes de la maladie d'Alzheimer : un nouveau regard grâce à l'attention
La maladie d'Alzheimer ressemble à un écheveau de fils emmêlés : des milliers de gènes s'entrecroisent, et il est difficile de savoir lesquels se rompent en premier. Autrefois, les scientifiques cherchaient les gènes importants en comptant simplement le nombre de connexions de chaque nœud dans le réseau.
Systèmes dynamiques2026-02-282 minarXiv:2603.00709express
Choisir le meilleur modèle sans tirer à la courte paille
Pour comprendre un mécanisme, il faut le faire bouger. Un enfant qui démonte un réveil ne se contente pas de regarder les engrenages : il tourne la molette et écoute comment le tic-tac change. De même, les scientifiques, plutôt que d'observer passivement, envoient au système des signaux soigneusement choisis et observent la réponse.
Comment le cerveau se réorganise dans la maladie d'Alzheimer
Le cerveau n'est pas un gros ordinateur unique, mais plutôt un orchestre où différents groupes de musiciens jouent leurs partitions. Les réseaux de neurones responsables de la mémoire, de l'attention ou des émotions communiquent constamment. Dans la maladie d'Alzheimer, cet orchestre commence à jouer faux : certains groupes se taisent, d'autres jouent à contretemps.
Comment un réseau de neurones prédit l'inédit
Un écoulement turbulent dans un tuyau et les oscillations d'un pendule semblent très différents. Mais ils ont un point commun : tous deux obéissent à leurs propres lois du mouvement, qui peuvent être décrites par des nombres.
Une prévision qui se souvient du cycle
Un panneau solaire sur un toit produit peu de courant le matin, beaucoup à midi, et se tait la nuit. Le vent ne souffle pas non plus au hasard : il est souvent plus fort le matin et le soir que le jour. Les gestionnaires du réseau ont besoin de savoir à l'avance combien d'énergie sera disponible dans une heure ou trois, afin de démarrer les centrales de secours à temps ou de stocker l'électricité dans des batteries.
Génomique2026-02-192 minarXiv:2602.17532express
Ce que taisent les cellules intelligentes : l'attention sans utilité
À l'intérieur de la cellule, le travail bouillonne : des milliers de gènes s'activent et se désactivent, comme des ampoules sur un immense tableau d'affichage. Les réseaux de neurones entraînés à lire ce tableau ont appris à deviner ce qui se passera si l'on « éteint » un gène ou si l'on ajoute un médicament. Mais comment ils font exactement — c'est une énigme.
Une lueur trop vive aveugle la caméra
Une caméra qui ne capture pas la lumière mais un flux d'électrons réfléchis par un cristal, c'est un détecteur hybride à pixels. Il sait compter chaque électron qui l'atteint, en ne générant presque aucun bruit propre. En mode normal, lorsque le faisceau d'électrons s'écoule en continu, le détecteur fonctionne parfaitement.
L'écriture du regard : comment les yeux et la main s'accordent sur le temps
Lorsque la main trace une ligne, le regard court presque toujours devant — comme un éclaireur qui jette un œil derrière le virage avant que la colonne ne le prenne. Mais à quelle distance devant ? Il s'avère que cette distance est propre à chaque personne et ne change pas d'un essai à l'autre.
Mémoire sous pression : comment l'anxiété pilote nos souvenirs
On essaie de ne pas penser à la dispute de ce matin, mais des images vives s'imposent à l'esprit. En parallèle, on prépare un rapport et on garde des chiffres en tête. Résultat : la mémoire perturbe le travail, et le travail empêche d'oublier. Des scientifiques ont voulu vérifier comment le cerveau gère cette double charge chez des personnes plus ou moins anxieuses.
Quand l'arrêt du mouvement devient une récompense
Une zone du cerveau de la taille d'un petit pois fige le rat à mi-pas. Le faisceau laser atteint les cellules photosensibles, et l'animal s'arrête net, comme s'il avait heurté un mur invisible. C'est le noyau pédonculopontin rostral, un amas de neurones dans le tronc cérébral qui contrôle le mouvement.
Mémoire en optomécanique : un chef d'orchestre laser apprend à la lumière et au son à se souvenir
Dans une pièce sombre, un résonateur capture la lumière comme une toile d'araignée capture des gouttes de rosée. L'impulsion laser s'engouffre à l'intérieur, et la membrane mécanique se met à vibrer en rythme, laissant une trace dans la trame même du système.
IAFormer : une attention éparse pour l'analyse des collisions
Au Grand collisionneur de hadrons, des millions de jets naissent chaque seconde : des flux de particules issus d'un quark ou d'un gluon. Distinguer un jet de quark top d'un jet de quark ordinaire est une tâche cruciale pour la chasse à la nouvelle physique.
SFANet : un interprète qui entend à la fois les mots et l'intonation
Un interprète lors de négociations ne capte pas seulement les mots, mais aussi le ton avec lequel ils sont prononcés. S'il se concentre uniquement sur le vocabulaire, il manquera le sarcasme ou la fatigue dans la voix. S'il ne s'attache qu'à l'intonation, il trahira les détails du contrat.