méthode

xgboost

Un algorithme d'apprentissage automatique basé sur le boosting par gradient qui construit des modèles prédictifs à partir de données structurées.
52 articles liés

Description

XGBoost (eXtreme Gradient Boosting) est un algorithme d'apprentissage automatique qui construit des modèles prédictifs en combinant de nombreux arbres de décision simples de manière itérative. C'est une forme de boosting par gradient, où chaque nouvel arbre corrige les erreurs des précédents, améliorant progressivement la précision. XGBoost est largement utilisé pour les problèmes de données structurées, tels que la classification, la régression et le classement, et est réputé pour sa rapidité et ses performances dans les compétitions et les applications réelles.

Histoire

XGBoost a été introduit par Tianqi Chen en 2014 dans le cadre d'un projet de recherche à l'Université de Washington. Il est rapidement devenu un outil dominant dans les compétitions d'apprentissage automatique, en particulier sur des plateformes comme Kaggle.

Comment ça marche

L'algorithme commence par une prédiction initiale, puis ajuste un arbre de décision aux résidus (erreurs) de cette prédiction. Chaque arbre suivant est entraîné sur les erreurs restantes, et les prédictions sont combinées en additionnant les arbres, pondérés par un taux d'apprentissage. XGBoost inclut une régularisation pour éviter le sur-apprentissage et utilise une implémentation astucieusement optimisée qui gère efficacement les données éparses et le traitement parallèle.

En pratique

Utilisé dans divers domaines, notamment le diagnostic médical (prédire la progression de maladies à partir de données d'imagerie ou de laboratoire), la finance (notation de crédit et détection de fraude) et la physique (classification d'événements de particules ou prédiction de propriétés de matériaux).

Anecdote

XGBoost a permis de remporter de nombreuses compétitions d'apprentissage automatique, et son nom est l'abréviation de « Extreme Gradient Boosting », reflétant son objectif de repousser les limites de la performance et de l'évolutivité.

Concept graph →

Articles liés · 49

Compacter l'horloge du vieillissement : 212 marques au lieu d'un millier
Dans une salle d'entretien, mille candidats se présentent, mais seuls deux cents seront embauchés. On pensait autrefois que pour estimer précisément l'âge à partir de l'ADN, il fallait interroger chacun des mille segments où une marque chimique modifie l'activité d'un gène.
La boussole de diamant apprend toute seule : la physique dans un réseau de neurones
Le diamant n'est pas qu'une simple parure. Dans son réseau cristallin se cachent des défauts qui détectent le champ magnétique mieux que bien des instruments. L'un de ces défauts, le centre NV, agit comme une minuscule boussole, mais son aiguille oscille à cause de la chaleur et du bruit.
Le cerveau comme prédicteur : un nouveau regard sur les circuits neuronaux
Le cerveau ne se contente pas de réagir au monde – il ne cesse de deviner ce qui va se passer l'instant d'après. Ce principe porte le nom de codage prédictif : les neurones comparent leurs attentes à la réalité et mettent à jour leur représentation interne lorsqu'une erreur survient. Mais comment un système aussi complexe peut-il être organisé dans le tissu vivant du cortex ?
Le squelette du réseau trophique : comment sauver les écosystèmes face au changement climatique
Un réseau où les lions mangent les zèbres et où les hyènes finissent les restes, ce n'est pas qu'une liste de repas. C'est une carte de survie pour toute une région. Quand le climat change, les animaux se déplacent et la carte se déchire. Pour comprendre où elle se déchirera et où elle tiendra, il faut trouver son « squelette » immuable – ces connexions qui se répètent d'un endroit à l'autre.
Comment une branche de neurone divise le signal
Un neurone reçoit des milliers de signaux sur ses prolongements ramifiés — les dendrites. Certains signaux poussent la cellule à s'activer (excitation), d'autres la retiennent (inhibition). Pendant longtemps, on a pensé que le neurone se contentait d'additionner tous les « pour » et les « contre ».
Comment un réseau de neurones lit les pages invisibles des amas de galaxies
La température au centre d'un amas de galaxies atteint cent millions de degrés. Ces systèmes, les plus grands liés gravitationnellement, sont des laboratoires naturels où la nature cache 85% de sa masse dans la matière noire invisible.
À travers le brouillard de la probabilité : l'âge de 15 millions d'étoiles
15 175 107 étoiles. Chacune a reçu son âge. Mais aucun chiffre n'est exempt d'une touche d'incertitude : l'âge d'une étoile n'est pas un clou enfoncé sur l'axe du temps, mais un nuage de probabilité, un brouillard cachant la valeur réelle.
Le flipper des étoiles : un algorithme déchiffre les règles du chaos
Cent mille étoiles dans le noyau dense d’un amas globulaire se déplacent comme des billes d’acier dans un flipper géant. Chaque « choc » — une rencontre gravitationnelle entre un couple binaire et une étoile isolée — déclenche une cascade d’événements imprévisibles.
Tremblements de terre cosmiques : un algorithme révèle le rythme des sursauts gamma
Au plus profond de l'Univers, lorsqu'une étoile massive s'effondre en trou noir ou qu'un magnétar naît, un sursaut gamma s'embrase — l'espace d'un instant, il éclipse toutes les étoiles de l'Univers observable.
Accélération intelligente : comment apprendre au réseau électrique à penser plus vite
Les systèmes électriques équipés de panneaux solaires et d'éoliennes ressemblent à une partie d'échecs : la couverture nuageuse et les variations de charge sont des coups de l'adversaire impossibles à prévoir. Pour maintenir l'équilibre, les opérateurs devaient auparavant évaluer des dizaines de scénarios (incertitude) — ce qui demandait trop de temps et de calculs.
Le réseau de neurones entend la musique magnétique
Le dichroïsme circulaire magnétique des rayons X est un outil précis qui permet depuis longtemps de séparer les moments magnétiques de spin et orbitaux. Cependant, l'approche classique revient à évaluer un orchestre par son volume sonore : elle s'appuie sur des règles de somme qui réduisent toute la structure fine du spectre à une paire d'intégrales.
Calcul et langage2026-07-131 minarXiv:2607.11163express
L'amnésie linguistique des réseaux de neurones : une solution !
Un grand réseau de neurones, comme Whisper, maîtrise des centaines de langues et ressemble au modèle standard de l'univers : tout est équilibré. Mais l'apprentissage d'une langue rare rompt cet équilibre — elle se transforme en trou noir qui attire toutes les ressources d'apprentissage.
Un départ tout chaud pour le moteur quantique : comment l'apprentissage automatique accélère les calculs de molécules
La DFTB, c'est le train à grande vitesse de la chimie quantique : des centaines de fois plus rapide que la DFT classique, mais toujours sur des rails électroniques. Cependant, son moteur — l'auto-cohérence itérative des charges — ressemble parfois à un orchestre où chaque instrument commence sur une note arbitraire.
Le vote des impairs : comment la différence symétrique accélère les automates
Dans la salle d'audience, une chaîne de caractères est présentée en entrée. Douze jurés (les chemins de calcul) l'examinent symbole par symbole. Chacun peut déclarer « coupable » (accepter) ou « non coupable ». Pour un automate non déterministe ordinaire (NFA), un seul vote « pour » suffit.
Un réseau de neurones repère les pépites dans un superalliage
Les ingénieurs fabriquent un alliage pour les concentrateurs solaires en y ajoutant des particules dures — comme des raisins secs dans une pâte, pour qu'elle garde sa forme sous une chaleur extrême. Des raisins trop gros, et le matériau fissure. Avant, les scientifiques les comptaient manuellement sur des images de microscope.
Compiler une fois, différencier partout
Un interprète est assis dans la salle de réunion et traduit chaque mot. Mais voilà qu'il remarque que sa traduction pourrait être améliorée s'il apprenait de ses erreurs. Il commence à noter les phrases qui ont causé des incompréhensions et les corrige. Au bout d'une heure, sa traduction est plus précise et la réunion se déroule plus vite.
Comment un jumeau numérique sauve un cerveau en quelques minutes
Un plombier débouche un tuyau étroit et sinueux — au toucher, sans voir l'intérieur. C'est à peu près ce que ressent un chirurgien lors d'une thrombectomie mécanique (l'opération qui consiste à retirer un caillot de sang d'un vaisseau cérébral). Le temps presse, et chaque mouvement peut soit sauver la personne, soit endommager la paroi du vaisseau.
Géophysique2026-04-252 minarXiv:2604.23127express
Du sel dans les champs : quand le satellite voit l'invisible
Une rizière au bord de la mer paraît verte, mais les tiges sont basses et les grains chétifs. C'est le sel qui a empoisonné le sol en silence. Dans le district de Satkhira, au sud du Bangladesh, chaque agriculteur connaît bien ce tableau. L'eau salée monte avec les marées, s'infiltre dans la terre, et le sol cesse de produire.
Comment distinguer les détails sur une image floue
L'appareil de radiographie contourne le sein en arc de cercle et prend plusieurs clichés sous différents angles. À partir de ces images planes, l'ordinateur reconstitue une image en volume, un peu comme on assemble les pièces d'une mosaïque pour former un tout. Mais si les pièces de la mosaïque sont froissées ou tachées, l'image finale est floue.
Quand les réseaux de neurones regardent le monde de la même manière
Si l'on montre la même photo de chat à deux réseaux de neurones différents, ils arrivent souvent à une conclusion similaire : « chat ». Mais si on leur demande plus de détails, les réponses peuvent diverger. Un modèle remarquera les moustaches, un autre la robe, un troisième la posture.
Des ailes en une minute : comment l'IA est devenue un génie de l'aérodynamique
Former un modèle aérodynamique précis, c'est un peu comme la cuisine : d'abord, le chef apprend des centaines de recettes pour saisir les principes généraux, puis il perfectionne facilement un plat particulier.
Un modèle de langue assemble une protéine comme un puzzle
Une protéine ressemble à un collier de perles – les acides aminés – qui se replie en une forme bien précise, et c'est cette forme qui détermine son rôle dans la cellule. Les concepteurs de protéines déplacent les perles pour obtenir la forme voulue, mais le nombre de combinaisons est immense.
Théorie nucléaire2026-04-182 minarXiv:2604.16996express
Comment une IA repère les erreurs dans les manuels de physique
Le noyau d'uranium ressemble à un portefeuille bien rempli, fermé par deux moitiés qui s'emboîtent. Pour qu'il éclate et libère de l'énergie — c'est-à-dire pour que le noyau se divise — il faut franchir une barrière d'énergie. La hauteur de ce seuil détermine si la matière est stable ou prête à se désintégrer à tout moment.
Une machine qui ne se gêne plus elle-même
Un orchestre où chaque musicien joue sa partition mais n'entend que son voisin. Qu'un seul se trompe, et une vague d'erreurs déferle sur toute la salle. C'est ainsi que fonctionnent les machines d'Ising, des dispositifs spécialisés dans la résolution de problèmes où il faut trouver la meilleure option parmi une multitude.
La pression artérielle sur une puce minuscule
Les montres connectées mesurent le pouls grâce à la lumière : une LED éclaire la peau et un capteur capte le signal réfléchi. En analysant les variations de ce signal, on peut estimer la pression artérielle, mais un calcul précis nécessite un réseau de neurones puissant — qui fonctionne généralement dans le cloud, ce qui implique l'envoi des données hors de l'appareil.
Séparer le signal du bruit dans les détecteurs de particules
Les détecteurs de particules, comme les chambres à plaques résistives (RPC), fonctionnent comme des pièges sensibles : lorsqu'une particule chargée les traverse, un signal électrique est généré. Mais parfois, la chambre produit une fausse trace, comme si quelqu'un d'invisible avait appuyé sur la sonnette.
Le moment qui accélère l'apprentissage des réseaux de neurones
L'apprentissage d'un réseau de neurones ressemble à une descente en luge : il faut la bonne vitesse pour ne pas rester coincé ni sortir de la piste. Dans la méthode populaire d'apprentissage avec moment (comme l'inertie), on prend généralement une valeur constante de 0,9.
Un réseau de neurones goûte l'atmosphère des planètes lointaines
Lorsqu'une planète passe devant son étoile, la lumière traverse son atmosphère et en absorbe la saveur des gaz. Chaque gaz laisse dans la lumière sa propre empreinte colorée – une touche amère ou sucrée. Les scientifiques tentent de déchiffrer cette recette : quelles substances et dans quelles proportions se mêlent dans l'air d'un monde étranger.
Recette d'étoile à neutrons : entendre à travers le bruit
Lorsqu'une étoile massive meurt et s'effondre en supernova, naît une étoile à neutrons — une sphère de la taille d'une ville, mais avec la masse du Soleil. Sa matière est si comprimée qu'une cuillère à café pèse plus que le mont Everest.
StretchCast : des prévisions météo à la carte
L'atmosphère est un système chaotique, et une prévision détaillée pour toute la planète exige des puissances de calcul colossales.
Gaz quantiques2026-03-262 minarXiv:2603.25775express
Un réseau de neurones voit les nœuds dans le brouillard quantique
Dans un nuage froid d'atomes, refroidi presque au zéro absolu, les énergies peuvent se comporter comme des fils qui se tressent en nattes. Ces nattes ne sont pas qu'une jolie image : leur motif est lié à la topologie, la branche des mathématiques qui étudie les propriétés préservées par les déformations continues.
Comment un réseau de neurones met au point les averses de particules
Dans le détecteur du Grand collisionneur de hadrons, des millions de particules naissent chaque seconde. Leurs éclairs d'énergie dans le calorimètre ressemblent à des gouttes de pluie sur une vitre : on voit les gouttes individuelles, mais quand elles sont nombreuses et se fondent, il devient difficile de distinguer chacune.
Un algorithme qui s'améliore tout seul
Un programmeur écrit du code, l'exécute, voit l'erreur et corrige. Désormais, ce processus peut être confié au programme lui-même. L'apprentissage profond en imagerie médicale sait déjà améliorer des algorithmes, mais il exige généralement beaucoup de données et d'exemples prêts à l'emploi.
Physique appliquée2026-02-032 minarXiv:2602.03721express
Prédire la qualité d'un cristal pendant qu'il grandit encore
La croissance d'un cristal de germanium ultra-pur évoque la cuisson d'un soufflé capricieux : un léger excès de chaleur ou un grain d'impureté en trop, et tout le lingot ne vaut plus que pour être refondu.
Apprendre à un réseau de neurones à lire des manuels
Les protéines dans une cellule communiquent comme les habitants d'une immense ville : certaines transmettent des signaux, d'autres freinent, d'autres encore sont simplement à proximité. Le réseau de neurones à graphes voit la carte de ces connexions — qui est relié à qui — mais pour lui, ce ne sont que des lignes.