
Attention mechanism is a computational process that dynamically focuses on relevant parts of input data, used in gaze coordination, sensory processing, and motor control.El mecanismo de atención es una técnica computacional que permite al modelo sopesar dinámicamente la importancia de diferentes partes de los datos de entrada. A diferencia de las convoluciones fijas, la atención se adapta al ejemplo concreto: la palabra 'banco' (de sentarse o entidad financiera) recibirá un entorno diferente en función del contexto. Como un director que mueve un foco de un actor a otro, la atención redistribuye la luz según la puesta en escena.
El concepto de atención en la inteligencia artificial se remonta a las ideas de la década de 1960 sobre la búsqueda visual. En redes neuronales, las primeras implementaciones fueron los sistemas de alineamiento para la traducción automática (Bahdanau et al., 2014). Luego, el mecanismo se volvió modular con 'Attention is All You Need' (2017), donde se convirtió en un bloque de construcción autónomo: la auto-atención en el transformador.
Se calculan tres matrices: consultas Q, claves K, valores V (proyecciones lineales de las entradas). Para cada consulta, se calculan los productos escalares con todas las claves, se escalan por √d_k y se transforman mediante softmax en una distribución de probabilidad. Estas probabilidades se usan como pesos para sumar los valores. La atención multi-cabeza repite el procedimiento varias veces con diferentes proyecciones, capturando distintos tipos de relaciones.
Las cámaras inteligentes que siguen el movimiento y los sistemas de traducción que captan el sentido de frases largas funcionan exactamente así.
En el sistema visual humano también hay un análogo: la atención selectiva. El cerebro amplifica la señal del objeto deseado y suprime el resto.
| Q | variable | Query matrix — query matrix |
| K | variable | Key matrix — key matrix |
| V | variable | Value matrix — value matrix |
| d_k | variable | Dimension of keys — dimensión |
| softmax | operador | Normalizes rows to probability distributions — softmax function |
| ⊤ | operador | Matrix transpose — transpose operator |
| √ | operador | Square root — raíz cuadrada |
















