Dans quelle mesure chaque variable d'entrée contribue réellement aux décisions d'un modèle entraîné.L'importance des caractéristiques désigne les techniques qui attribuent un score aux variables d'entrée selon leur utilité pour prédire une variable cible au sein d'un modèle entraîné. Cela aide à interpréter quelles variables sont les plus influentes dans les décisions du modèle, facilitant la compréhension du modèle, la sélection des caractéristiques et la compréhension du domaine.
Le concept a été utilisé de manière informelle pendant des décennies, mais des méthodes formalisées comme l'importance de Gini ont été introduites avec les forêts aléatoires au début des années 2000 par Leo Breiman et Adele Cutler. L'importance par permutation a également été popularisée à cette époque.
Les méthodes varient selon le type de modèle. Pour les modèles basés sur les arbres (par exemple, les forêts aléatoires, le boosting de gradient), l'importance est souvent calculée en fonction de la diminution de l'impureté (par exemple, l'impureté de Gini ou l'entropie) apportée par chaque caractéristique à travers toutes les divisions. Pour les modèles linéaires, l'amplitude des coefficients peut servir de proxy. Des méthodes agnostiques au modèle, comme l'importance par permutation, mesurent la baisse de performance du modèle lorsque les valeurs d'une caractéristique sont mélangées aléatoirement, rompant ainsi son association avec la cible.
Utilisée dans des domaines comme la génomique pour identifier les gènes les plus prédictifs d'une maladie, en marketing pour comprendre les principaux moteurs clients, et dans le débogage de modèles pour s'assurer que le modèle s'appuie sur des caractéristiques sensées plutôt que sur des corrélations fallacieuses.
Les scores d'importance des caractéristiques sont relatifs et peuvent être trompeurs si les caractéristiques sont corrélées ; une caractéristique réellement importante peut obtenir un score faible si une caractéristique corrélée est déjà utilisée dans le modèle.















