Natural language processing is the concept of enabling computers to understand, interpret, and generate human language.Le traitement automatique du langage naturel (NLP) est un domaine à l'intersection de la linguistique et de l'apprentissage automatique, où les algorithmes apprennent à extraire le sens du texte et de la parole. Il repose sur la représentation des mots sous forme de vecteurs (des nombres décrivant leur signification), et les réseaux neuronaux analysent les séquences pour saisir le contexte. Les modèles modernes comme GPT ne se contentent pas d'appliquer des règles : ils absorbent d'énormes volumes de livres, d'articles, de dialogues et construisent une image probabiliste de la langue : quel mot est le plus susceptible d'apparaître après cette phrase. C'est ainsi que naissent des textes cohérents, des traductions ou des réponses aux questions.
L'idée de la traduction automatique et de l'analyse de texte remonte aux travaux d'Alan Turing (1950) et à son célèbre test. En 1954 eut lieu l'expérience de Georgetown, la première traduction automatique publique du russe vers l'anglais. Dans les années 1960-1970, les systèmes à base de règles (grammaires, dictionnaires) dominaient, mais ils butaient sur l'ambiguïté du langage. Dans les années 1980-1990, les méthodes statistiques fondées sur des corpus de textes sont apparues. Les réseaux neuronaux ont provoqué une révolution : en 2013, le modèle word2vec a appris à obtenir des représentations vectorielles sémantiquement pertinentes des mots ; en 2014, seq2seq avec attention a amélioré la traduction ; et en 2017, l'architecture Transformer est devenue la base de presque tous les systèmes NLP modernes. La percée des grands modèles de langue a commencé avec BERT (2018) et GPT-3 (2020), qui ont montré qu'avec l'augmentation de la taille du réseau et des données, on assiste à un saut qualitatif dans la compréhension de la langue.
Le mécanisme clé des modèles NLP modernes est l'attention multi-têtes (multi-head attention) de l'architecture Transformer. Le texte d'entrée est tokenisé et converti en plongements (embeddings) — des vecteurs de dimension fixe. Ensuite, plusieurs couches d'auto-attention calculent pour chaque position une somme pondérée de toutes les autres positions, permettant à un mot de recueillir le contexte de toute la phrase. Formule de l'attention : Attention(Q, K, V) = softmax(QK^T / √d_k)V, où Q, K, V sont les requêtes, clés et valeurs obtenues à partir des plongements d'entrée. Lors du pré-entraînement, le modèle apprend à prédire les tokens masqués (comme dans BERT) ou le token suivant (comme dans GPT), en minimisant l'entropie croisée. Ensuite, pour des applications spécifiques, on affine le modèle sur un petit ensemble de données annotées. La sortie du modèle est une distribution de probabilité sur le vocabulaire, à partir de laquelle le token suivant est choisi.
Assistants vocaux, saisie prédictive, traducteurs, filtres anti-spam — tout repose sur des algorithmes qui comprennent le langage humain.
Le plus grand modèle de langue a « lu » plus de textes qu'un humain ne pourrait le faire en mille vies — environ 500 milliards de mots.
