método

Transformadores

Transformers are neural network models using self-attention mechanisms for tasks like brain mapping, language translation, and context stitching in AI agents.
70 artículos relacionados · 5 quién trabajó aquí

Descripción

El Transformador es una arquitectura de redes neuronales donde toda la secuencia se procesa en paralelo. La palabra «banco» (en el sentido de institución financiera o de asiento) aclara su significado a través de conexiones con otras palabras en la oración, utilizando el mecanismo de atención (peso dinámico de importancia). Esto permitió superar las limitaciones de los modelos antiguos, que se confundían en frases largas. Así, un centro de operaciones distribuye tareas: cada agente ve el panorama general y destaca los objetivos prioritarios.

Historia

Propuesta en el artículo «Attention is All You Need» (2017) por Vaswani y colegas de Google. La idea básica del mecanismo de atención se remonta a trabajos de los años 90, pero fue el Transformador el que lo estableció como un bloque de construcción autosuficiente. Primero conquistó la traducción automática, y luego los modelos generativos (GPT, BERT), la visión por computadora e incluso la predicción de la estructura de las proteínas.

Cómo funciona

El elemento clave es la autoatención: para la secuencia de entrada se calculan las matrices de consultas (Q), claves (K) y valores (V). Los pesos de atención se obtienen como el producto escalar escalado de consultas y claves, tras la función softmax. Fórmula: Atención(Q,K,V) = softmax(QK^T/√d_k)V, donde d_k es la dimensionalidad de las claves. El codificador aplica atención multi-cabeza: varias cabezas paralelas proyectan la entrada en diferentes subespacios, luego se combinan los resultados. La codificación posicional añade información sobre el orden de las palabras, ya que el modelo no tiene una representación inherente de la secuencia.

En la práctica

Traducción automática, asistentes de voz y sistemas que comprenden textos largos: desde chatbots hasta informes automáticos.

Dato curioso

Los Transformadores modernos (como GPT) pueden contener cientos de miles de millones de parámetros ajustables, aproximadamente como el número de estrellas en una galaxia pequeña.

Concept graph →

Artículos relacionados · 79

El trío cerebral: cómo el cerebro agrupa regiones de a tres
Un trío de jazz toca en la penumbra de un club. El pianista lleva la melodía, el contrabajista marca el ritmo y el baterista despliega redobles. Si escuchamos solo a los músicos por parejas, podemos percibir cómo el pianista se adapta al bajo o el bajo a la batería.
El navegante que recalcula la ruta sobre la marcha
Un navegante con un mapa de papel traza la ruta antes de zarpar. Si el océano cambia, si la corriente se desplaza o el viento se intensifica, el mapa sigue igual. El barco avanza por una ruta obsoleta y la tripulación debe corregir el rumbo manualmente.
Atlas de la física interna de un modelo de neutrinos: la biblioteca que no lee aquel para quien fue escrita
En el hielo antártico, una partícula fantasma deja tras de sí solo un débil destello de luz azul. El detector IceCube capta esos destellos, y con ellos hay que deducir de dónde vino la partícula. El modelo PolarBERT aprendió a hacerlo, pero qué ve exactamente en su interior seguía siendo un misterio.
Una división que no fragmenta la memoria
Mantener en la cabeza la posición exacta de un lápiz mientras se mueve lentamente es una tarea rutinaria para el cerebro. Para las redes neuronales artificiales, es casi imposible. Las redes recurrentes típicas, como GRU y LSTM, tienden a dividir el movimiento continuo en escalones rígidos: el lápiz no se desliza suavemente, sino que salta de un punto a otro.
Cómo aprenden las ideas unas de otras
La mente humana es como un juego de construcción que se va completando a sí mismo. Las ideas nuevas no mueren con la persona: se transmiten, se mezclan y se seleccionan. Este proceso se llama evolución cultural: los inventos útiles se consolidan y los inútiles se olvidan. Así funciona un trinquete, un mecanismo que solo gira hacia adelante.
Genómica2026-07-192 minarXiv:2607.17227exprés
Atlas celulares: quién lee mejor el lenguaje del tejido
Cada vez más, los biólogos confían a las computadoras la lectura de las "instrucciones de uso" de una célula viva. Seis modelos recientes de inteligencia artificial —Nicheformer, CellPLM, scGPT-spatial, GenePT, scELMo y Novae— son como seis traductores de diferentes dialectos del mismo lenguaje celular.
Cómo un coche autónomo construye un mapa desde las alturas
Las cámaras del coche autónomo captan la luz como telescopios apuntando a una galaxia lejana. Cada fotograma es una observación fragmentaria; juntos deben combinarse en un mapa del camino. La computadora, como un astrónomo, no pega las imágenes, sino que genera varias posibles vistas aéreas y las compara con los datos reales.
Cómo el cerebro dirige la atención: un modelo de meditación
El cerebro de quien medita es una orquesta, y la atención es el director. Cuando te concentras en la respiración, todos los instrumentos tocan en armonía. Pero de repente, un pensamiento-violonchelo da una nota falsa: eso es la divagación mental. El director experimentado no entra en pánico: capta al instante la disonancia y devuelve suavemente a la orquesta a la melodía principal: la respiración.
IA ligera para comunicaciones en el espacio: más precisa y económica
La comunicación con un satélite es como intentar oír un susurro en medio de una tormenta: la señal se ahoga en interferencias. Unos ingenieros han creado un algoritmo de IA que funciona directamente en el satélite y, con un consumo mínimo de energía, reconoce las distorsiones con más precisión que los métodos anteriores.
Sistemas y Control2026-07-151 minarXiv:2607.13387exprés
Un navegante inteligente que desconfía de sí mismo
Un programa de seguimiento común se asemeja a un navegante que guía un barco por las estrellas. Pero en cuanto el cielo se nubla, las coordenadas empiezan a desviarse y en los datos aumenta la entropía (medida de incertidumbre). El nuevo algoritmo incorpora un «copiloto»: un módulo que monitoriza el nivel de confianza del navegador principal.
Sistemas y Control2026-07-151 minarXiv:2607.13537exprés
Dúo de velocidad y precisión para redes eléctricas inteligentes
Los paneles solares y los aerogeneradores, a diferencia de las viejas turbinas, se conectan mediante inversores, lo que abre nuevas brechas para los hackers: se pueden distorsionar imperceptiblemente las lecturas de los sensores o falsificar las marcas GPS. Para protegerse, los ingenieros combinaron dos enfoques: un guardián ultrarrápido y un detective reflexivo.
Robótica2026-07-151 minarXiv:2607.13553exprés
Cómo un robot aprende a nadar en el caos de las corrientes
En aguas tranquilas, la ruta es clara. Pero en corrientes turbulentas, el robot necesita otra estrategia. Los enfoques habituales requieren un mapa preciso de las corrientes, aunque en la realidad es imposible obtenerlo. La naturaleza actúa de otra manera: los peces sienten la presión y los remolinos justo al lado de su cuerpo.
Mente viva: por qué la IA sin cuerpo sigue ciega
El enfoque estándar actual para entrenar a la IA se parece a un niño encerrado en una biblioteca: recuerda millones de libros, pero no sabe que el fuego quema o que una caída duele.
Memoria sin pensamientos: cómo el cerebro recuerda después del silencio
Tras lanzar una piedra, los círculos en el agua desaparecen, pero el líquido conserva vibraciones microscópicas. El más leve soplo y las ondas reaparecen. Las redes neuronales se comportan de forma similar. Cuando las señales eléctricas se calman, su memoria perdura en los puntos de contacto: las sinapsis.
Sistemas y Control2026-07-151 minarXiv:2607.14273exprés
Cómo monitorear el calor en toda la habitación con un solo termómetro
En una olla de sopa, bastan dos termómetros para saber la temperatura en todas partes, si se sabe que el calor sube en círculos desde el fondo. Así ocurre en la ciencia: a partir de pocas mediciones hay que reconstruir la imagen completa del campo térmico.
Cómo la IA dejó de confundir los sonidos en los guiones
Los modelos que convierten texto en audio recrean bien los sonidos individuales, pero se confunden cuando en el guión hay varios. Por ejemplo, según el guión primero suena el timbre, luego los pasos, después el portazo. El generador puede alterar los eventos y el oyente escuchará los pasos antes del timbre.
El eco de la telefonía móvil: cómo el teléfono encuentra el camino sin GPS
La señal urbana rebota entre las paredes como una pelota, y el teléfono capta decenas de sus «reflejos»: el eco. Cada microsegundo de retraso añade 300 metros al recorrido. La velocidad de la señal es constante, como la de la luz (скорость света).
Red neuronal con sentido posicional mejora la conexión
En una cocina con hornillas de gas, cada una calienta a su manera. Si el cocinero cambia las ollas de lugar, la comida puede quemarse. Lo mismo ocurre en una red inalámbrica: las antenas-hornillas y los usuarios-ollas requieren una colocación precisa. Las redes neuronales comunes no distinguen posiciones, considerando todas las hornillas iguales.
Sistemas y Control2026-07-131 minarXiv:2607.11122exprés
Controlador flotador: estabilidad mediante una ecuación instantánea
El flotador en el tanque del inodoro es un controlador ideal: al detectar el nivel de agua, lleva instantáneamente el sistema al equilibrio sin mirar al pasado. Los ingenieros aplicaron este principio a las redes neuronales.
Combinatoria2026-07-132 minarXiv:2607.11325exprés
El enredo evolutivo: ¿cómo medir el caos en la red de la vida?
Un árbol genealógico se convierte en un enredo si se tienen en cuenta los hijos adoptivos y los segundos matrimonios. La evolución a menudo se parece a ese enredo: aunque el modelo estándar —la representación tradicional de la evolución divergente, donde las especies se ramifican como un árbol— dibuja un árbol de especies ordenado, en realidad los genes no solo se…
Sinfonía de átomos: cómo la IA convirtió el microscopio en director de orquesta de la materia
El microscopio electrónico es un órgano gigante: en lugar de tubos, lentes electromagnéticas; en lugar de aire, un flujo de electrones acelerados. Antes solo pintaba frescos mudos del mundo atómico, condenando a los científicos a una descodificación extenuante.
El tango gravitacional: cómo una red neuronal con intuición física captó el ritmo de los agujeros negros
Aislar la señal de un par de agujeros negros supermasivos es como distinguir los pasos de un bailarín en el estruendo de un huracán. En algún lugar del cosmos, estos monstruos giran en un lento tango gravitacional, deformando el propio espacio-tiempo.
Ladrillos del espacio-tiempo: cómo las redes de tensores atrapan una teoría de campos esquiva
En la física cuántica hay teorías donde todo obedece a proporciones claras, como un ritmo musical que siempre vuelve al inicio del compás. Pero también existen teorías 'irracionales', donde el ritmo se rompe y predecir el siguiente golpe es casi imposible. Una de ellas es la teoría del bosón compactificado: la partícula vive en una circunferencia y su comportamiento depende del radio de esa circunferencia.
Votación impar: cómo la diferencia simétrica acelera los autómatas
En la sala del tribunal se presenta la cadena de entrada. Doce jurados (caminos computacionales) la examinan símbolo a símbolo. Cada uno puede declarar «culpable» (aceptar) o «inocente». Para el autómata no determinista (NFA) basta con un voto a favor.
Cómo los agentes de IA débiles se apoderan de las redes: la cristalización de la desigualdad
Una diminuta mota de polvo en una solución sobresaturada se cubre en segundos de facetas de un gran cristal. Las partículas vecinas quedan invisibles. Un proceso similar se ha descubierto recientemente en comunidades de agentes lingüísticos.
El criptoanalista cósmico: una red neuronal descifra los códigos secretos de las estrellas variables
Las profundidades del cosmos no callan: están llenas de mensajes cifrados. Cada estrella, cada cuásar emite su propio código de luz titilante: rítmico, como el morse de una cefeida, o caótico, como un cifrado hackeado de una supernova. Los astrónomos interceptan estas señales por millones cada noche, pero ¿cómo leerlas sin una clave?
Cocina sin contratiempos: cómo SmoothAgent conecta el contexto de los agentes LLM sin pausas
En la hora punta de la cocina de un restaurante, el aceite chisporrotea, los cuchillos golpean, los pedidos vuelan. El chef no puede esperar a que laven la sartén — siempre tiene a mano un ayudante que prepara una limpia de antemano.
Cómo el cerebro comparte experiencia entre tareas
El cerebro no aprende cada tarea desde cero: transfiere experiencia de una actividad a otra. Pero, ¿cómo saber qué tareas son realmente afines? Los neurocientíficos idearon un truco ingenioso: dejar que una red artificial "espíe" la actividad cerebral durante una tarea e intente predecir la actividad durante otra. Si lo logra bien, las tareas son cercanas.
Una red neuronal integrada en un modelo de neurona
Una neurona se parece a un circuito eléctrico con pilas y resistencias variables. El papel de las resistencias lo desempeñan los canales iónicos —poros proteicos en la membrana que se abren y se cierran, dejando pasar partículas cargadas.
Cómo crear un péptido terapéutico ideal: tres propiedades a la vez
Un ingeniero ajusta una antena: estira un segmento y la frecuencia se desplaza; cambia el ángulo y la ganancia cae. Algo parecido ocurre en el desarrollo de péptidos terapéuticos (cadenas cortas de proteínas).
Cómo aprende el cerebro a anticipar sin pistas
Una red neuronal, como una hoja de papel cuadriculado, recibe señales homogéneas en su entrada y, por sí misma, traza una cuadrícula de coordenadas. Primero, las conexiones entre las entradas y las células de la red se asemejan a una colina suave: en el centro la respuesta es más fuerte y hacia los bordes se atenúa.
Compilamos una vez, diferenciamos en todas partes
El intérprete está en la sala de reuniones y traduce cada palabra. Pero de repente se da cuenta de que puede mejorar su traducción si aprende de sus errores. Empieza a anotar qué frases causaron malentendidos y las corrige. Al cabo de una hora, su traducción es más precisa y la reunión avanza más rápido.
El cerebro ahorra memoria como un cajero en hora punta
Un cajero de supermercado en hora punta no memoriza cada compra que pasa por su caja: se queda con el total y vigila la cola. Más o menos así reparte el cerebro sus fuerzas: la corteza, cara y precisa (la que se encarga de pensar), y los núcleos subcorticales, más simples y económicos (donde viven los hábitos), trabajan en pareja.
Cuando la mente dice honestamente «no sé»
Una persona mira una cerradura de puerta y ve la ranura para la llave. Sabe que la llave se inserta y se gira. Pero si en lugar de la ranura hay un panel táctil, el marco habitual se rompe. La persona no solo se equivoca: comprende que el método habitual no sirve y puede decir: «Aquí no hay lugar para una llave, se necesita otro enfoque».
Física y Sociedad2026-05-222 minarXiv:2605.23766exprés
La ciudad como organismo: qué puede enseñar la naturaleza a la planificación del transporte
La ciudad es un sistema vivo: consume recursos, produce residuos, y su «sistema circulatorio» —la red de carreteras— lleva personas y mercancías a sus destinos. Pero mientras los ingenieros diseñan las arterias de transporte como una geometría rígida de líneas rectas, la naturaleza lleva millones de años perfeccionando redes de distribución ideales.