Explainable AI is a subfield of artificial intelligence focused on making the decisions and inner workings of AI models understandable to humans.La inteligencia artificial explicable (XAI) es un campo que hace transparente para los humanos el funcionamiento de los modelos de aprendizaje automático. A diferencia de las redes neuronales tradicionales, «cajas negras», la XAI ofrece interpretación: por qué el modelo llegó a esa conclusión, qué características fueron importantes, cuán fiable es la predicción. Los enfoques se dividen en modelos interpretables (árboles de decisión, modelos lineales) y explicaciones post-hoc para modelos complejos ya entrenados (LIME, SHAP, mapas de gradiente). Esto es crítico en medicina, finanzas y derecho, donde un error puede costar vidas o la libertad.
El problema de la caja negra se agravó con el renacimiento del aprendizaje profundo en 2012. Los primeros trabajos sobre interpretación de modelos incluyen el análisis de pesos en la década de 1990, pero como disciplina separada, la XAI tomó forma después de 2016, cuando DARPA lanzó el programa Explainable AI. El derecho formal a una explicación de las decisiones algorítmicas quedó establecido en el Reglamento General de Protección de Datos (GDPR) de la UE.
La XAI se basa en métodos de aproximación de la función de decisión compleja mediante un modelo simple e interpretable en la vecindad local de cada ejemplo (LIME). SHAP utiliza la teoría de juegos: la contribución de cada característica se calcula como su contribución marginal sobre todos los subconjuntos posibles de características. Los métodos de gradiente (Grad-CAM) visualizan qué regiones de la imagen de entrada activaron más fuertemente las neuronas de la última capa convolucional, utilizando los gradientes de la clase objetivo. Para modelos de texto (transformers), el mecanismo de atención permite resaltar las palabras importantes.
El médico no solo ve el diagnóstico de la IA, sino también la imagen con el tumor resaltado para verificarlo por sí mismo. El banco explica al cliente por qué rechazó el crédito.
Uno de los métodos de XAI, SHAP, lleva el nombre de Shapley de la teoría de juegos: distribuye equitativamente la «contribución» de cada característica a la decisión, como un bono entre los jugadores de un equipo.





















