Un algorithme d'apprentissage automatique basé sur le boosting par gradient qui construit des modèles prédictifs à partir de données structurées.XGBoost (eXtreme Gradient Boosting) est un algorithme d'apprentissage automatique qui construit des modèles prédictifs en combinant de nombreux arbres de décision simples de manière itérative. C'est une forme de boosting par gradient, où chaque nouvel arbre corrige les erreurs des précédents, améliorant progressivement la précision. XGBoost est largement utilisé pour les problèmes de données structurées, tels que la classification, la régression et le classement, et est réputé pour sa rapidité et ses performances dans les compétitions et les applications réelles.
XGBoost a été introduit par Tianqi Chen en 2014 dans le cadre d'un projet de recherche à l'Université de Washington. Il est rapidement devenu un outil dominant dans les compétitions d'apprentissage automatique, en particulier sur des plateformes comme Kaggle.
L'algorithme commence par une prédiction initiale, puis ajuste un arbre de décision aux résidus (erreurs) de cette prédiction. Chaque arbre suivant est entraîné sur les erreurs restantes, et les prédictions sont combinées en additionnant les arbres, pondérés par un taux d'apprentissage. XGBoost inclut une régularisation pour éviter le sur-apprentissage et utilise une implémentation astucieusement optimisée qui gère efficacement les données éparses et le traitement parallèle.
Utilisé dans divers domaines, notamment le diagnostic médical (prédire la progression de maladies à partir de données d'imagerie ou de laboratoire), la finance (notation de crédit et détection de fraude) et la physique (classification d'événements de particules ou prédiction de propriétés de matériaux).
XGBoost a permis de remporter de nombreuses compétitions d'apprentissage automatique, et son nom est l'abréviation de « Extreme Gradient Boosting », reflétant son objectif de repousser les limites de la performance et de l'évolutivité.



















