A Markov chain is a stochastic process where future states depend only on the present state, not on past events.La chaîne de Markov est un modèle stochastique décrivant une séquence d'états dans laquelle la probabilité de transition vers l'état suivant dépend exclusivement de l'état actuel (propriété de Markov). Formellement : P(X_{n+1}=x | X_n=x_n,...,X_0=x_0) = P(X_{n+1}=x | X_n=x_n). Les chaînes peuvent être à temps discret ou continu, avec un nombre fini ou dénombrable d'états. Outils principaux : matrice des probabilités de transition, distribution stationnaire, équations de Chapman-Kolmogorov.
Andreï Andreïevitch Markov introduisit les chaînes en 1906 en étudiant la loi des grands nombres pour les variables dépendantes. Il était motivé par le désir de réfuter l'affirmation de Nekrassov selon laquelle l'indépendance est nécessaire pour les lois statistiques. Plus tard, dans les années 1930, Kolmogorov développa la théorie générale des processus de Markov. Au milieu du XXe siècle, les chaînes de Markov devinrent un outil central en recherche opérationnelle, en physique (modèle d'Ising) et en informatique (génération de texte, PageRank).
Mathématiquement, une chaîne de Markov est définie par un vecteur de probabilités initial π^{(0)} et une matrice stochastique P. Alors la distribution après n pas est : π^{(n)} = π^{(0)} P^n. La propriété d'absence de mémoire signifie que pour prédire le futur, il suffit de connaître l'état actuel. Le comportement à long terme est déterminé par la décomposition spectrale de la matrice P : s'il existe un unique vecteur propre à gauche avec la valeur propre 1 (distribution stationnaire), alors π^{(n)} → π quand n→∞. Équations de Chapman-Kolmogorov : P^{(n+m)} = P^{(n)} P^{(m)}, exprimant la composition des transitions. Pour le temps continu : dπ/dt = πQ, où Q est la matrice des intensités de transition.
Les chaînes de Markov modélisent les files d'attente dans les magasins, les algorithmes des moteurs de recherche (PageRank de Google), les marches aléatoires des prix en bourse et la génération de texte par l'intelligence artificielle.
La première application pratique des chaînes de Markov fut l'analyse de l'alternance des voyelles et des consonnes dans « Eugène Onéguine » — Markov montra qu'elle n'était pas aléatoire et prédit les lettres suivantes du texte.
