Explainable AI is a subfield of artificial intelligence focused on making the decisions and inner workings of AI models understandable to humans.L’intelligence artificielle explicable (XAI) est un domaine qui rend le fonctionnement des modèles d’apprentissage automatique transparent pour l’humain. Contrairement aux réseaux neuronaux traditionnels — « boîtes noires », XAI fournit une interprétation : pourquoi le modèle est arrivé à cette conclusion, quelles caractéristiques étaient importantes, dans quelle mesure la prédiction est fiable. Les approches se divisent en modèles interprétables (arbres de décision, modèles linéaires) et en explications post-hoc pour les modèles complexes déjà entraînés (LIME, SHAP, cartes de gradients). C’est essentiel en médecine, finance, droit, où une erreur peut coûter la vie ou la liberté.
Le problème de la boîte noire s’est aggravé avec la renaissance de l’apprentissage profond en 2012. Les premiers travaux sur l’interprétation des modèles incluent l’analyse des poids dans les années 1990, mais en tant que discipline, XAI s’est formé après 2016, lorsque la DARPA a lancé le programme Explainable AI. Le droit formel à l’explication des décisions algorithmiques a été consacré par le Règlement général sur la protection des données (RGPD) dans l’UE.
XAI repose sur des méthodes d’approximation de la fonction de décision complexe par un modèle interprétable simple dans le voisinage local de chaque exemple (LIME). SHAP utilise la théorie des jeux : la contribution de chaque caractéristique est calculée comme sa contribution marginale sur tous les sous-ensembles possibles de caractéristiques. Les méthodes basées sur les gradients (Grad-CAM) visualisent les zones de l’image d’entrée qui ont le plus activé les neurones de la dernière couche convolutive, en utilisant les gradients de la classe cible. Pour les modèles de texte (transformers), le mécanisme d’attention permet de mettre en évidence les mots importants.
Le médecin voit non seulement le diagnostic de l’IA, mais aussi l’image avec la tumeur en surbrillance pour vérifier lui-même. La banque explique au client pourquoi elle a refusé le crédit.
L’une des méthodes XAI, SHAP, est nommée d’après Shapley de la théorie des jeux — elle répartit équitablement la « contribution » de chaque caractéristique à la décision, comme une prime entre les joueurs d’une équipe.





















