
Large language models are neural network methods that learn to generate and predict human-like text from vast datasets.Les grands modèles de langage modernes sont des réseaux de neurones avec une architecture « transformer », comptant de centaines de millions à des centaines de milliards de paramètres. Chaque paramètre est un nombre qui influence la façon dont le signal d'un mot est transmis à un autre. Le modèle ne stocke pas les mots, mais les transforme en vecteurs de nombres — des points mathématiques dans un espace multidimensionnel de significations. Le pré-apprentissage se fait par une tâche de complétion automatique : le modèle comble les mots manquants ou prédit le mot suivant dans une séquence. Ensuite, il peut être affiné sur des exemples spécialisés pour mener un dialogue, résoudre des problèmes ou écrire du code.
L'histoire a commencé avec les modèles statistiques n-grammes (années 1950), puis les modèles de langage neuronaux (Bengio et al., années 2000). Le tournant a été l'article Attention Is All You Need (2017), qui a proposé l'architecture transformer. La société OpenAI a lancé GPT-1 en 2018 avec 117 millions de paramètres, puis GPT-3 en 2020 avec 175 milliards de paramètres, démontrant que le modèle, sans apprentissage explicite, pouvait traduire, programmer et raisonner simplement en recevant une instruction en langage naturel. Depuis lors, la compétition porte à la fois sur l'augmentation de la taille des modèles et sur l'amélioration de l'efficacité (Mixture-of-Experts, lois d'échelle de Chinchilla).
Le modèle reçoit en entrée une fenêtre contextuelle de n tokens. Chaque token est projeté en un embedding et encodé par des couches d'auto-attention, créant des représentations contextualisées. En sortie, un classifieur linéaire prédit la distribution de probabilité du token suivant. L'apprentissage minimise l'entropie croisée entre la prédiction et le token réel. Lors de la génération, le texte est produit par échantillonnage séquentiel des tokens (généralement avec noyau top-p ou top-k). Techniques clés : pré-apprentissage sur du texte non étiqueté, puis ajustement supervisé ou par RLHF pour aligner sur l'utilité et la sécurité. Le mécanisme d'attention calcule les poids de similarité entre les requêtes et les clés pour chaque paire de tokens, permettant de se concentrer sur les dépendances à longue distance.
Ces modèles rédigent des actualités, composent des poèmes, génèrent du code informatique, répondent aux questions des clients dans les chats et aident les médecins à rédiger des résumés de dossiers médicaux.
GPT-3 peut rédiger un essai que le jury ne distingue pas d'un écrit humain en 2 secondes, le temps qu'il faut à une personne pour simplement ouvrir un éditeur de texte.















