La qualité d'un modèle d'être interprétable, permettant aux humains de comprendre son processus de décision.La transparence en apprentissage automatique désigne le degré selon lequel le fonctionnement interne d'un modèle peut être compris par les humains. Un modèle transparent permet aux chercheurs et aux utilisateurs de retracer comment les entrées sont transformées en sorties, révélant quelles caractéristiques ont influencé une décision et pourquoi. Cela est crucial dans des domaines comme la médecine, les prévisions météorologiques et la chimie, où la confiance dans les prédictions de l'IA dépend de la capacité à vérifier leur raisonnement.
Le concept d'IA interprétable a gagné en importance dans les années 2010 avec l'essor de l'apprentissage profond, car les chercheurs et les régulateurs ont reconnu que la seule précision élevée ne suffisait pas pour des applications à enjeux élevés. Le domaine de l'IA explicable (XAI) est apparu comme un domaine de recherche dédié vers 2017.
La transparence est obtenue grâce à des méthodes comme l'attribution de caractéristiques, qui attribue des scores d'importance aux variables d'entrée, ou en utilisant des modèles intrinsèquement interprétables tels que les arbres de décision. Pour les réseaux de neurones complexes, des techniques comme les cartes de saillance mettent en évidence les parties d'une entrée (par exemple, les pixels d'une image) qui ont été les plus influentes. Certains modèles produisent également des niveaux de confiance, indiquant explicitement quand ils sont incertains, ce qui est une forme de transparence sur leurs propres limites.
La transparence est utilisée dans les systèmes d'aide à la décision clinique, où les médecins doivent comprendre pourquoi une IA recommande un traitement particulier, et dans les véhicules autonomes, où les ingénieurs doivent vérifier que les modèles de perception prennent des décisions basées sur des caractéristiques routières pertinentes.
Certains modèles d'IA peuvent désormais générer des explications en langage naturel de leurs propres prédictions, permettant à un modèle météorologique de dire « Je prédis de la pluie car l'humidité a augmenté de 20 % et la pression a chuté » — une capacité qui était presque impossible avec les premiers réseaux de neurones.













