
Transformers are neural network models using self-attention mechanisms for tasks like brain mapping, language translation, and context stitching in AI agents.El Transformador es una arquitectura de redes neuronales donde toda la secuencia se procesa en paralelo. La palabra «banco» (en el sentido de institución financiera o de asiento) aclara su significado a través de conexiones con otras palabras en la oración, utilizando el mecanismo de atención (peso dinámico de importancia). Esto permitió superar las limitaciones de los modelos antiguos, que se confundían en frases largas. Así, un centro de operaciones distribuye tareas: cada agente ve el panorama general y destaca los objetivos prioritarios.
Propuesta en el artículo «Attention is All You Need» (2017) por Vaswani y colegas de Google. La idea básica del mecanismo de atención se remonta a trabajos de los años 90, pero fue el Transformador el que lo estableció como un bloque de construcción autosuficiente. Primero conquistó la traducción automática, y luego los modelos generativos (GPT, BERT), la visión por computadora e incluso la predicción de la estructura de las proteínas.
El elemento clave es la autoatención: para la secuencia de entrada se calculan las matrices de consultas (Q), claves (K) y valores (V). Los pesos de atención se obtienen como el producto escalar escalado de consultas y claves, tras la función softmax. Fórmula: Atención(Q,K,V) = softmax(QK^T/√d_k)V, donde d_k es la dimensionalidad de las claves. El codificador aplica atención multi-cabeza: varias cabezas paralelas proyectan la entrada en diferentes subespacios, luego se combinan los resultados. La codificación posicional añade información sobre el orden de las palabras, ya que el modelo no tiene una representación inherente de la secuencia.
Traducción automática, asistentes de voz y sistemas que comprenden textos largos: desde chatbots hasta informes automáticos.
Los Transformadores modernos (como GPT) pueden contener cientos de miles de millones de parámetros ajustables, aproximadamente como el número de estrellas en una galaxia pequeña.




















