
Apprendre le bruit de l'échantillon d'entraînement ; la raison pour laquelle un modèle qui s'ajuste parfaitement peut prédire de manière médiocre.Le surapprentissage se produit lorsqu'un modèle statistique décrit l'erreur aléatoire ou le bruit plutôt que la relation sous-jacente. Le modèle fonctionne bien sur les données d'entraînement mais mal sur de nouvelles données inédites. C'est un problème central en apprentissage automatique et en statistiques, car l'objectif est de construire des modèles qui généralisent, et non qui mémorisent simplement.
Le concept est connu depuis les débuts de la statistique et de l'ajustement de courbes. Le terme « surapprentissage » est devenu important dans les années 1960-1970 avec l'essor des réseaux de neurones et des arbres de décision.
Les modèles très flexibles (par exemple, avec de nombreux paramètres) peuvent ajuster presque parfaitement les données d'entraînement, y compris leurs particularités. Lorsque le modèle est trop complexe par rapport à la quantité de données, il capture des motifs fallacieux qui n'existent pas dans la population réelle. Cela conduit à une variance élevée : de petites modifications de l'ensemble d'entraînement entraînent de grandes modifications du modèle. Des techniques comme la validation croisée, la régularisation et l'élagage sont utilisées pour détecter et prévenir le surapprentissage.
En modélisation prédictive, le surapprentissage est une préoccupation constante. Les praticiens utilisent des ensembles de validation et la régularisation pour garantir que les modèles, comme ceux utilisés pour la notation de crédit ou le pronostic médical, restent fiables sur de nouveaux patients.
Un modèle qui mémorise parfaitement les données d'entraînement (par exemple, une table de correspondance) a une erreur d'entraînement nulle, mais en général, il ne fait pas mieux qu'une supposition aléatoire sur de nouvelles données — un exemple classique de surapprentissage.











