
Large language models are neural network methods that learn to generate and predict human-like text from vast datasets.Los grandes modelos de lenguaje modernos son redes neuronales con arquitectura «transformer», que cuentan desde cientos de millones hasta cientos de miles de millones de parámetros. Cada parámetro es un número que influye en cómo se transmite la señal de una palabra a otra. El modelo no almacena palabras, sino que las convierte en vectores numéricos: puntos matemáticos en un espacio multidimensional de significados. El preentrenamiento se realiza mediante la tarea de autocompletado: el modelo rellena palabras faltantes o predice la siguiente palabra en una secuencia. Después, puede ser afinado con ejemplos especializados para que mantenga diálogos, resuelva tareas o escriba código.
La historia comenzó con los modelos estadísticos de n-gramas (década de 1950), luego con modelos de lenguaje basados en redes neuronales (Bengio et al., década de 2000). El punto de inflexión fue el artículo Attention Is All You Need (2017), que propuso la arquitectura transformer. La empresa OpenAI lanzó GPT-1 con 117 millones de parámetros en 2018, y en 2020 GPT-3, con 175 mil millones de parámetros, demostró que el modelo, sin entrenamiento explícito, es capaz de traducir, programar y razonar simplemente recibiendo instrucciones en lenguaje natural. Desde entonces, la competencia avanza tanto hacia modelos más grandes como hacia una mayor eficiencia (Mezcla de Expertos, leyes de escalado Chinchilla).
El modelo recibe como entrada una ventana de contexto de n tokens. Cada token se asigna a un embedding y se codifica mediante capas de auto-atención, creando representaciones contextualizadas. A la salida, un clasificador lineal predice la distribución de probabilidad del siguiente token. El entrenamiento minimiza la entropía cruzada entre la predicción y el token real. Durante la generación, el texto se produce mediante un muestreo secuencial de tokens (normalmente con núcleo top-p o top-k). Las técnicas clave incluyen: preentrenamiento en texto no etiquetado, seguido de un ajuste fino mediante instrucciones o RLHF para alinearlo con la utilidad y la seguridad. El mecanismo de atención calcula pesos de similitud entre consultas y claves para cada par de tokens, lo que permite enfocarse en dependencias de largo alcance.
Estos modelos escriben noticias, componen poemas, generan código de programación, responden preguntas de clientes en chats y ayudan a los médicos a redactar resúmenes de historias clínicas.
GPT-3 es capaz de escribir un ensayo que una comisión no distinguió del escrito por un humano, en 2 segundos: el tiempo que tarda una persona solo en abrir un editor de texto.















