Un comité d'arbres simples, chacun corrigeant les erreurs du précédent ; longtemps le classificateur standard en physique des particules.Les arbres de décision boostés (BDT) sont une méthode d'apprentissage ensembliste qui combine de nombreux arbres de décision simples pour produire un classificateur puissant. Chaque arbre est entraîné séquentiellement, chaque nouvel arbre se concentrant sur les erreurs commises par les précédents. Les BDT sont le classificateur de référence en physique des particules à haute énergie depuis plus d'une décennie, utilisés pour distinguer les rares événements de signal du bruit de fond écrasant dans les données des collisionneurs.
Le concept de boosting a été introduit par Robert Schapire en 1990, et l'algorithme AdaBoost a été développé par Freund et Schapire en 1995. Les BDT sont devenus un standard en physique des particules après la découverte du boson de Higgs en 2012, où ils ont joué un rôle clé pour séparer le signal du Higgs du bruit de fond.
L'algorithme de boosting le plus courant est AdaBoost : on commence avec un ensemble de poids sur les échantillons d'entraînement, on entraîne un arbre peu profond, puis on augmente les poids des échantillons mal classés et on diminue ceux des échantillons bien classés. L'arbre suivant est entraîné sur les données repondérées, et le processus se répète. La prédiction finale est un vote pondéré de tous les arbres. Le boosting par gradient est une généralisation qui optimise une fonction de perte arbitraire en ajustant chaque nouvel arbre aux erreurs résiduelles de l'ensemble courant.
Les BDT sont utilisés en physique des particules pour la classification des événements, dans le scoring de crédit pour l'évaluation du risque, et en diagnostic médical pour la prédiction de maladies à partir des données des patients.
Lors de la découverte du boson de Higgs en 2012, les BDT ont été si efficaces qu'ils ont aidé à extraire un signal qui n'apparaissait que dans environ une collision proton-proton sur mille milliards.








