La capacité d'un modèle à bien performer sur des données nouvelles et inédites plutôt que seulement sur les exemples d'entraînement.La généralisation est la capacité d'un modèle — qu'il s'agisse d'un réseau de neurones ou d'un cerveau biologique — à bien performer sur des données nouvelles et inédites, plutôt que de simplement mémoriser les exemples d'entraînement qui lui ont été présentés. C'est l'objectif central de tout système d'apprentissage : un modèle qui ne fonctionne que sur son ensemble d'entraînement n'a pas véritablement appris le motif sous-jacent, mais a plutôt surajusté le bruit ou les particularités spécifiques des données. En physique et en apprentissage automatique, la généralisation est ce qui permet à un réseau entraîné sur un ensemble limité de mesures de prédire des résultats pour des conditions entièrement nouvelles, comme cartographier les distributions de matière noire à partir du lentillage gravitationnel ou prédire le comportement des états quantiques de la lumière.
Le concept a été formalisé dans les années 1960 et 1970 au sein de la théorie de l'apprentissage statistique, notamment par Vladimir Vapnik et Alexey Chervonenkis, qui ont introduit la dimension de Vapnik-Chervonenkis (VC) pour quantifier la capacité d'un modèle à généraliser.
La généralisation émerge lorsqu'un modèle capture les régularités sous-jacentes des données plutôt que leurs détails superficiels. Cela est réalisé grâce à des techniques telles que la régularisation, la validation croisée et l'entraînement sur des ensembles de données diversifiés qui forcent le modèle à trouver des représentations compactes et réutilisables. Dans le cerveau, on pense que la généralisation repose sur la formation de cartes ou de schémas abstraits qui peuvent être appliqués de manière flexible à de nouvelles situations, comme le montrent les études sur la manière dont le cerveau transfère les expériences passées à des contextes nouveaux. L'essentiel est que le modèle apprenne des caractéristiques qui sont réellement prédictives sur une gamme d'entrées, et pas seulement celles qui correspondent aux exemples d'entraînement.
La généralisation est ce qui rend les réseaux de neurones utiles en physique, de la prédiction des cartes de lentillage gravitationnel à la classification des états quantiques de la lumière, et en médecine, où des modèles entraînés sur des données incomplètes doivent néanmoins faire des prédictions précises pour de nouveaux patients.
Un modèle qui mémorise parfaitement ses données d'entraînement obtiendra presque toujours de moins bons résultats sur de nouvelles données qu'un modèle plus simple qui commet quelques erreurs sur l'ensemble d'entraînement — un phénomène connu sous le nom de compromis biais-variance.


















