concepto

mecanismo de atención

Attention mechanism is a computational process that dynamically focuses on relevant parts of input data, used in gaze coordination, sensory processing, and motor control.
28 artículos relacionados · 1 fórmulas

Descripción

El mecanismo de atención es una técnica computacional que permite al modelo sopesar dinámicamente la importancia de diferentes partes de los datos de entrada. A diferencia de las convoluciones fijas, la atención se adapta al ejemplo concreto: la palabra 'banco' (de sentarse o entidad financiera) recibirá un entorno diferente en función del contexto. Como un director que mueve un foco de un actor a otro, la atención redistribuye la luz según la puesta en escena.

Historia

El concepto de atención en la inteligencia artificial se remonta a las ideas de la década de 1960 sobre la búsqueda visual. En redes neuronales, las primeras implementaciones fueron los sistemas de alineamiento para la traducción automática (Bahdanau et al., 2014). Luego, el mecanismo se volvió modular con 'Attention is All You Need' (2017), donde se convirtió en un bloque de construcción autónomo: la auto-atención en el transformador.

Cómo funciona

Se calculan tres matrices: consultas Q, claves K, valores V (proyecciones lineales de las entradas). Para cada consulta, se calculan los productos escalares con todas las claves, se escalan por √d_k y se transforman mediante softmax en una distribución de probabilidad. Estas probabilidades se usan como pesos para sumar los valores. La atención multi-cabeza repite el procedimiento varias veces con diferentes proyecciones, capturando distintos tipos de relaciones.

En la práctica

Las cámaras inteligentes que siguen el movimiento y los sistemas de traducción que captan el sentido de frases largas funcionan exactamente así.

Dato curioso

En el sistema visual humano también hay un análogo: la atención selectiva. El cerebro amplifica la señal del objeto deseado y suprime el resto.

Concept graph →

Fórmulas

$$\text{Attention}(Q, K, V) = \text{softmax}\left(\frac{QK^\top}{\sqrt{d_k}}\right)V$$
Attention weights are computed from queries and keys, scaled by dimension, then applied to values.
Qué hay en la fórmula
QvariableQuery matrix — query matrix
KvariableKey matrix — key matrix
VvariableValue matrix — value matrix
d_kvariableDimension of keys — dimensión
softmaxoperadorNormalizes rows to probability distributions — softmax function
⊤operadorMatrix transpose — transpose operator
√operadorSquare root — raíz cuadrada
w_t(u,v)=\max(0,\frac{(q_t^v)^\topk_t^u}{\sqrt{r}}z_t^u) · 2607.01148

Artículos relacionados · 37

Un pistón que espera el vacío
Un pistón en un cilindro con gas normalmente se mueve cuando el gas empuja contra él. Pero hay un pistón que se mueve cuando hay vacío frente a él. Cada cinco segundos, revisa el espacio junto a su pared y, si no hay nadie allí, da un paso hacia adentro, comprimiendo el gas sin esfuerzo mecánico directo.
Física y Sociedad2026-08-142 minarXiv:2608.14398exprés
Cuando estar juntos es una elección
Dos personas quedan en verse, pero cada una tiene sus propios asuntos. Uno duda: ¿y si el otro no viene? Y decide no ir. El segundo piensa lo mismo. El encuentro no ocurre. Así se ve el mecanismo simple que analizan los autores del trabajo: una empresa común requiere que cada uno invierta tiempo, pero el beneficio depende de si el compañero participa.
Física Biológica2026-08-081 minarXiv:2608.08096exprés
El oído como amplificador vivo
El sonido entra en el oído y llega a una membrana delgada dentro de la cóclea, el órgano espiral del oído interno. Esta membrana no solo tiembla como una cuerda; ella misma impulsa las vibraciones cuando son débiles y deja de hacerlo cuando son fuertes. Así, el oído escucha tanto un susurro como una conversación alta.
El movimiento cambia las decisiones
Una persona lanza una moneda para tomar una decisión. Está quieta: la moneda cae cara. Da un par de pasos y vuelve a lanzar. Parecería que caminar no debería influir en la moneda. Pero ¿y si el simple paseo cambia la frecuencia con la que decide repetir el lanzamiento anterior? Esto es exactamente lo que comprobaron los investigadores.
El entrelazamiento se apresura lentamente
A veces, el agua caliente se congela más rápido que la tibia; este hecho extraño se conoce como efecto Mpemba. Ahora, algo similar se ha encontrado en el mundo cuántico: un estado con entrelazamiento débil (un vínculo cuántico especial entre partículas) puede adelantar a uno más entrelazado en el camino hacia la meta.
Un pensamiento leído a través del campo magnético
El magnetoencefalógrafo, un dispositivo parecido a un casco con cientos de sensores, capta los débiles campos magnéticos que generan las neuronas en acción. Cuando una persona escucha habla, en esas señales se esconden huellas de las palabras oídas. Pero extraerlas no es fácil: la señal de miles de fuentes se funde en una maraña confusa.
La química mira las moléculas con ojos de computadora
Predecir el rendimiento de una reacción química es como intentar adivinar la cosecha conociendo solo la composición del suelo. Tradicionalmente, los químicos se apoyaban en largas columnas de números —los descriptores cuánticos— que describen la energía de los electrones, pero no dicen nada sobre la forma de la molécula.
Física Cuántica2026-07-252 minarXiv:2607.23179exprés
Una trenza de luz enfría el espejo
El rayo láser no solo calienta, también puede calmar el movimiento. Cuando la luz entra en una trampa de espejos, ejerce presión sobre ellos, y si se ajusta correctamente el color del rayo, esa presión se convierte en un suave frenado. Así se enfrían las diminutas oscilaciones mecánicas hasta casi el cero absoluto.
Cómo el cerebro dirige la atención: un modelo de meditación
El cerebro de quien medita es una orquesta, y la atención es el director. Cuando te concentras en la respiración, todos los instrumentos tocan en armonía. Pero de repente, un pensamiento-violonchelo da una nota falsa: eso es la divagación mental. El director experimentado no entra en pánico: capta al instante la disonancia y devuelve suavemente a la orquesta a la melodía principal: la respiración.
Cocinando una voz viva: el dataset ruso que enseña a los asistentes a sentir
Los asistentes de voz a menudo recuerdan a un cocinero que lee una receta en papel sin sombra de apetito. El nuevo archivo de diálogos rusos 'Diálogos' cambia las reglas: tres actores en el estudio, como chefs, mezclaron 20 horas de conversaciones reales con doce 'especias' emocionales. Cada réplica recibió una etiqueta de estilo y emoción, resultando un libro completo de sabores.
La IA domina las recetas de las transformaciones químicas
Preparar un plato complejo exige una receta clara: primero cortar, luego sofreír, añadir las especias en el momento justo. Las transformaciones químicas también siguen recetas paso a paso, mecanismos donde los átomos de carbono e hidrógeno se reorganizan en un orden estricto.
Cómo enseñar a una cámara a ver más rápido y con menos energía: procesamiento neuromórfico de video en un chip
Los sistemas modernos de visión artificial están ganando autonomía: los ingenieros han logrado implementar un algoritmo de reconocimiento de patrones directamente en un chip diminuto, liberando a la cámara de la necesidad de enviar datos a una computadora voluminosa.
Los movimientos se reconocen por la postura, no por la trayectoria
Los científicos tomaron 16 actividades cotidianas — desde lavar platos hasta hacer sentadillas — y descompusieron los movimientos en componentes elementales, como un espectroscopio descompone la luz en un espectro. Comparando tres enfoques, encontraron una clave inesperada para el reconocimiento: basta con un fotograma congelado promediado.
Física Médica2026-06-072 minarXiv:2606.08618exprés
Cómo colocar la bobina en la cabeza sin fallar
Una linterna ilumina a través de la piel y el hueso para activar suavemente las neuronas en el punto exacto del cerebro. Así funciona la estimulación magnética transcraneal: una bobina sobre la cabeza genera breves pulsos magnéticos que disparan señales eléctricas en las células. Pero si inclinas o alejas la linterna, la luz se desvía.
Cuando la mente dice honestamente «no sé»
Una persona mira una cerradura de puerta y ve la ranura para la llave. Sabe que la llave se inserta y se gira. Pero si en lugar de la ranura hay un panel táctil, el marco habitual se rompe. La persona no solo se equivoca: comprende que el método habitual no sirve y puede decir: «Aquí no hay lugar para una llave, se necesita otro enfoque».
Física Cuántica2026-05-201 minarXiv:2605.21206exprés
Cómo el movimiento enseña al detector a distinguir direcciones
Un detector común de fotometría no distingue un fotón izquierdo de uno derecho. Pero en cuanto empieza a moverse, todo cambia. Un barquero rema entre dos flautistas que tocan la misma nota. Su oído está ajustado estrictamente a ella y es sordo a todas las demás alturas. Debido al movimiento, la melodía delante se vuelve más aguda y la de detrás más grave.
Cómo ajustar un motor molecular sin romperse la cabeza
Una fábrica donde cientos de diminutas líneas de montaje trabajan sin parar. Cada línea es un motor molecular que convierte combustible químico en movimiento. Para que el motor vaya más rápido o en la dirección deseada, el ingeniero cambia los ajustes: la forma de las piezas, la fuerza de las interacciones.
Pasos bajo el metrónomo: cómo el ritmo rompe la memoria de la marcha
En la habitación reina el silencio, solo se oyen los pasos y el conteo interno: «uno-dos, uno-dos». Al cabo de un minuto, la marcha se vuelve rígida, las piernas se mueven como pistones. Basta con olvidarse del conteo y simplemente caminar: el cuerpo se relaja y el paso recupera su fluidez. La diferencia entre estos dos estados no es solo una sensación.
El cerebro director: cómo la región parietal cambia de modo
El cerebro constantemente hace malabares con tareas: a veces reacciona a un sonido agudo, a veces resuelve una ecuación, a veces se sumerge en ensoñaciones. Los científicos sospechaban desde hace tiempo que detrás de esto hay cambios entre diferentes "guiones" de trabajo de las redes neuronales, pero era difícil extraerlos del caos de señales eléctricas.
Dos ojos ven mejor que uno: cómo una red neuronal aprende a ver un tumor
Un médico examina una imagen del cerebro: en algún lugar, entre el entramado de tejidos, se esconde un tumor. Una mirada capta manchas pequeñas y bordes; otra, la forma general y la ubicación. Una persona combina ambas, pero con cientos de imágenes resulta agotador. El nuevo programa hace lo mismo automáticamente.
El cerebro traductor: cómo distintas personas escuchan la misma señal
Una persona mira letras parpadeantes en una pantalla y la computadora adivina cuál eligió a partir de un pico de actividad cerebral. Es como un intérprete que capta no las palabras, sino las señales eléctricas del cerebro. Pero cada cerebro 'habla' con su acento: en uno la señal es clara y nítida, en otro es débil y borrosa.
Un polvo que recuerda movimientos
Un puñado de arena sobre la mesa es solo un montón. Pero si agitas las partículas correctamente, el montón empieza a comportarse como una memoria: recuerda qué movimiento sigue a cuál. En el nuevo experimento, movieron las partículas cíclicamente, y tras el entrenamiento reproducían el patrón deseado incluso sin la orden completa.
El detector que no se cansa
El detector de partículas del Gran Colisionador de Hadrones funciona durante años sin detenerse. Sus sensores generan montañas de datos cada segundo, y entre ellos hay que notar rápidamente una avería, como un sobrecalentamiento o un canal roto. Antes se usaban reglas simples para vigilarlo, pero a menudo fallaban.
Genes del Alzheimer: una nueva mirada a través de la atención
La enfermedad de Alzheimer se parece a una madeja de hilos enredada: miles de genes se entrelazan y es difícil saber cuáles se rompen primero. Antes, los científicos buscaban genes importantes simplemente contando cuántas conexiones tenía cada nodo en la red. Pero ese enfoque es como evaluar a una persona por el número de conocidos: no siempre el más sociable resulta ser el más influyente.
Sistemas dinámicos2026-02-281 minarXiv:2603.00709exprés
Cómo elegir el mejor modelo sin leer el futuro en una bola de cristal
Para entender un mecanismo, hay que moverlo. Un niño que desmonta un despertador no se limita a mirar los engranajes: hace girar la ruedecita y escucha cómo cambia el tictac. Igual hacen los científicos: en lugar de observar pasivamente, envían al sistema señales de entrada especialmente elegidas y observan la respuesta.
Cómo se reorganiza el cerebro en la enfermedad de Alzheimer
El cerebro no es una sola computadora grande, sino más bien una orquesta donde diferentes grupos de músicos tocan sus partes. Las redes de neuronas encargadas de la memoria, la atención o las emociones están constantemente conversando entre sí. En la enfermedad de Alzheimer, esta orquesta comienza a desafinar: algunos grupos se callan, otros tocan fuera de tiempo.
Cómo una red neuronal predice lo nunca visto
El flujo turbulento del agua en una tubería y las oscilaciones de un péndulo parecen no tener nada en común. Pero en su interior comparten algo: ambos obedecen a sus propias leyes de movimiento que pueden describirse con números. Una red neuronal entrenada solo con una de estas «danzas» de números, de repente empieza a comprender la otra, sin un solo ejemplo adicional.
Un pronóstico que recuerda el ciclo
Un panel solar en el tejado produce poca corriente por la mañana, mucha al mediodía y nada por la noche. El viento tampoco sopla de cualquier manera: a menudo es más fuerte por la mañana y por la tarde que durante el día.
Genómica2026-02-192 minarXiv:2602.17532exprés
De qué callan las células inteligentes: atención sin provecho
Dentro de la célula hay un hervidero de actividad: miles de genes se encienden y se apagan como bombillas en un tablero gigante. Las redes neuronales entrenadas para leer ese tablero han aprendido a adivinar qué ocurrirá si se 'apaga' un gen o se añade un fármaco. Pero cómo lo hacen exactamente es un misterio.
Un destello demasiado brillante ciega la cámara
Una cámara que no capta luz, sino un flujo de electrones reflejados por un cristal, es un detector híbrido de píxeles. Es capaz de contar cada electrón que incide en él, casi sin generar ruido propio. En modo normal, cuando el haz de electrones fluye de forma continua, el detector funciona perfectamente.
La escritura de la mirada: cómo los ojos y la mano se ponen de acuerdo sobre el tiempo
Cuando la mano traza una línea, la mirada casi siempre va por delante, como un explorador que se asoma a la curva antes de que la columna doble. Pero, ¿cuánto se adelanta? Resulta que cada persona tiene su propia distancia, y no cambia de un intento a otro.
Memoria bajo carga: cómo la ansiedad controla los recuerdos
Una persona intenta no pensar en la discusión que tuvo por la mañana, pero le vienen imágenes vívidas a la cabeza. Al mismo tiempo, está preparando un informe y mantiene cifras en mente. El resultado es malo: la memoria interfiere con el trabajo, y el trabajo no la deja olvidar. Los científicos decidieron comprobar cómo maneja el cerebro esta doble carga en personas con distintos niveles de ansiedad.
Cómo una pausa en el movimiento se convierte en una recompensa
Una región del cerebro del tamaño de un guisante hace que una rata se detenga a mitad de un paso. Un rayo láser incide sobre células sensibles a la luz y el animal se queda quieto, como si hubiera chocado con una pared invisible.
Memoria optomecánica: un director láser enseña a la luz y al sonido a recordar
En una habitación oscura, un resonador atrapa la luz como una telaraña atrapa gotas de rocío. El pulso láser irrumpe en su interior y la membrana mecánica comienza a vibrar al compás, dejando una huella en el propio tejido del sistema. Así nace la memoria: no en una celda de silicio, sino en la danza de fotones y fonones.
IAFormer: atención dispersa para el análisis de colisiones
En el Gran Colisionador de Hadrones, cada segundo nacen millones de chorros, flujos de partículas que emergen de un quark o gluón. Distinguir un chorro de un quark top de un chorro de un quark ordinario es una tarea de la que depende la búsqueda de nueva física.
SFANet: un traductor que escucha tanto las palabras como la entonación
Un intérprete en una negociación capta no solo las palabras, sino también el tono con que se dicen. Si se concentra únicamente en el vocabulario, pasará por alto el sarcasmo o el cansancio en la voz. Si solo atiende a la entonación, tergiversará los detalles del contrato.