concepto

IA explicable

Explainable AI is a subfield of artificial intelligence focused on making the decisions and inner workings of AI models understandable to humans.
45 artículos relacionados

Descripción

La inteligencia artificial explicable (XAI) es un campo que hace transparente para los humanos el funcionamiento de los modelos de aprendizaje automático. A diferencia de las redes neuronales tradicionales, «cajas negras», la XAI ofrece interpretación: por qué el modelo llegó a esa conclusión, qué características fueron importantes, cuán fiable es la predicción. Los enfoques se dividen en modelos interpretables (árboles de decisión, modelos lineales) y explicaciones post-hoc para modelos complejos ya entrenados (LIME, SHAP, mapas de gradiente). Esto es crítico en medicina, finanzas y derecho, donde un error puede costar vidas o la libertad.

Historia

El problema de la caja negra se agravó con el renacimiento del aprendizaje profundo en 2012. Los primeros trabajos sobre interpretación de modelos incluyen el análisis de pesos en la década de 1990, pero como disciplina separada, la XAI tomó forma después de 2016, cuando DARPA lanzó el programa Explainable AI. El derecho formal a una explicación de las decisiones algorítmicas quedó establecido en el Reglamento General de Protección de Datos (GDPR) de la UE.

Cómo funciona

La XAI se basa en métodos de aproximación de la función de decisión compleja mediante un modelo simple e interpretable en la vecindad local de cada ejemplo (LIME). SHAP utiliza la teoría de juegos: la contribución de cada característica se calcula como su contribución marginal sobre todos los subconjuntos posibles de características. Los métodos de gradiente (Grad-CAM) visualizan qué regiones de la imagen de entrada activaron más fuertemente las neuronas de la última capa convolucional, utilizando los gradientes de la clase objetivo. Para modelos de texto (transformers), el mecanismo de atención permite resaltar las palabras importantes.

En la práctica

El médico no solo ve el diagnóstico de la IA, sino también la imagen con el tumor resaltado para verificarlo por sí mismo. El banco explica al cliente por qué rechazó el crédito.

Dato curioso

Uno de los métodos de XAI, SHAP, lleva el nombre de Shapley de la teoría de juegos: distribuye equitativamente la «contribución» de cada característica a la decisión, como un bono entre los jugadores de un equipo.

Concept graph →

Artículos relacionados · 98

El eco en una habitación vacía: cómo agentes de IA desechables sin memoria crearon un lenguaje común
Comportamiento colectivo de agentes de IA se manifestó por primera vez no en un laboratorio, sino en un entorno salvaje: un sitio wiki encontrado al azar donde los agentes escribían pistas para superar la prueba. Es un eco en una habitación vacía: cada nueva voz repite lo que escuchó al final, y la habitación se llena de un murmullo coherente sin un solo director.
Atlas de la física interna de un modelo de neutrinos: la biblioteca que no lee aquel para quien fue escrita
En el hielo antártico, una partícula fantasma deja tras de sí solo un débil destello de luz azul. El detector IceCube capta esos destellos, y con ellos hay que deducir de dónde vino la partícula. El modelo PolarBERT aprendió a hacerlo, pero qué ve exactamente en su interior seguía siendo un misterio.
Atlas de la física interna de un modelo de neutrinos: la biblioteca que no lee aquel para quien fue escrita
En el hielo antártico, una partícula fantasma deja tras de sí solo un débil destello de luz azul. El detector IceCube capta esos destellos, y con ellos hay que deducir de dónde vino la partícula. El modelo PolarBERT aprendió a hacerlo, pero qué ve exactamente en su interior seguía siendo un misterio.
Materiales2026-08-161 minarXiv:2608.15928exprés
La IA busca materiales como un chef
Buscar un material nuevo es como cocinar sin receta: pruebas y pruebas, y a menudo tiras todo a la basura. Antes, los científicos revisaban manualmente los artículos y probaban las composiciones una por una. Ahora ha aparecido un "chef robot" que lee la literatura, mezcla los componentes y observa el resultado.
Las epidemias respiran al compás
Cada invierno los hospitales se llenan y en verano parece que se vacían. Las epidemias respiran como la marea. Pero, ¿por qué las olas de enfermedades vuelven una y otra vez, incluso sin nuevas mutaciones? Los matemáticos encontraron la respuesta en la disputa entre dos cepas. Dentro de una misma epidemia suelen convivir dos variantes del virus.
El sesgo que no necesita maestro
En el almacén hay cajas con manzanas y peras. Hay muchas manzanas y pocas peras. Pero cuando el encargado dice «fruta con piel lisa», por alguna razón recordamos más a menudo la rara pera que la frecuente manzana. Eso es el efecto de la tasa base inversa: un fallo persistente en cómo el cerebro resuelve la ambigüedad entre categorías.
El sesgo que no necesita maestro
En el almacén hay cajas con manzanas y peras. Hay muchas manzanas y pocas peras. Pero cuando el encargado dice «fruta con piel lisa», por alguna razón recordamos más a menudo la rara pera que la frecuente manzana. Eso es el efecto de la tasa base inversa: un fallo persistente en cómo el cerebro resuelve la ambigüedad entre categorías.
Física y Sociedad2026-08-021 minarXiv:2608.00939exprés
La inteligencia artificial se congela por el calor
En un horno, al subir la temperatura, las moléculas se mueven más rápido y el desorden aumenta. Con los modelos de lenguaje como ChatGPT ocurre lo contrario. Cuando los desarrolladores aumentan el parámetro de «temperatura», el modelo tiene acceso a una selección más amplia de palabras, pero sus textos largos de repente se quedan en bucle.
Cómo aprenden las ideas unas de otras
La mente humana es como un juego de construcción que se va completando a sí mismo. Las ideas nuevas no mueren con la persona: se transmiten, se mezclan y se seleccionan. Este proceso se llama evolución cultural: los inventos útiles se consolidan y los inútiles se olvidan. Así funciona un trinquete, un mecanismo que solo gira hacia adelante.
Un lazarillo electrónico para la visión artificial
Una prótesis ocular no transmite al cerebro una fotografía, sino un punteado escaso de puntos brillantes: los fosfenos. Para distinguir en ese parpadeo una taza o unas llaves, la persona debe mover la cabeza como una linterna en la oscuridad e ir juntando poco a poco los contornos del objeto. Es un proceso lento, parecido a armar un rompecabezas al que le faltan la mayoría de las piezas.
Galaxias2026-07-203 minarXiv:2607.17728
El rompecabezas que no encaja: la red neuronal busca cuásares anómalos
Al armar el rompecabezas del Universo, los astrónomos están acostumbrados a que cada nueva pieza encaje exactamente en el cuadro ya formado. Pero a veces aparecen piezas que parecen recortadas de otro rompecabezas. Veinte mil núcleos galácticos activos — y el once por ciento de ellos la red neuronal descarta con seguridad como extraños.
La inteligencia artificial aprende a crear virus
En 2025, los grandes modelos de lenguaje como GPT ya no solo conversan: ayudan a los científicos a diseñar experimentos. Pero la misma herramienta puede caer en manos de un delincuente. Un grupo de investigadores construyó un campo de pruebas digital para averiguarlo.
Cómo la inteligencia artificial descifró la escritura magnética de las erupciones solares
El Sol dibuja sin cesar garabatos de campos magnéticos en su superficie. Estos patrones no son meras ondulaciones, sino una escritura en la que la naturaleza ha cifrado advertencias sobre erupciones.
Cómo la inteligencia artificial descifró la escritura magnética de las erupciones solares
El Sol dibuja sin cesar garabatos de campos magnéticos en su superficie. Estos patrones no son meras ondulaciones, sino una escritura en la que la naturaleza ha cifrado advertencias sobre erupciones.
Sistemas y Control2026-07-161 minarXiv:2607.14606exprés
Cómo identificar al enemigo en el cielo en un instante
En combate, un piloto necesita entender al instante qué objeto es y cuáles son sus intenciones. Los sistemas convencionales esperan datos completos del radar, como un portero que solo reacciona después del disparo. El nuevo algoritmo funciona como un portero experimentado: a partir de los primeros movimientos del delantero, predice la maniobra del objetivo.
Física Médica2026-07-161 minarXiv:2607.14870exprés
Sistemas y Control2026-07-161 minarXiv:2607.14906exprés
Un mapa que no teme confesar: «No sé»
Un grupo de robots exploradores es como un equipo de cocineros probando un mismo plato. Cada uno toma una muestra de su zona y comparte su impresión: libre, ocupado o dudoso. Pero los gustos son subjetivos: uno no notó la pata de una silla, otro apenas lamió el borde. En lugar de promediar la discrepancia, los robots acuerdan: donde hay poca certeza, escribir honestamente «no sé».
Cómo enseñar a una IA a no confundir imágenes de resonancia magnética similares
Un IA común ve las imágenes médicas como rompecabezas de fragmentos desconocidos: dos imágenes no emparejadas las considera completamente diferentes. Es como intentar distinguir a gemelos sin saber que son familia. En medicina, los pacientes con la misma enfermedad se ven casi iguales en la resonancia, y el algoritmo se equivoca al confundir a los «parientes».
Cartógrafo neuronal: reconstruyendo leyes invisibles
Muchos procesos naturales se describen mediante ecuaciones, pero solo tenemos fragmentos de ellas. El nuevo método actúa como un cartógrafo que, a partir de pocos puntos de referencia, reconstruye un mapa completo del terreno.
La ilusión de la precisión: cómo la validación de la IA en acústica induce a error
La inteligencia artificial que predice la acústica de una sala se parece a un estudiante en un examen con una chuleta. Si los puntos de prueba son los mismos que los de entrenamiento, el modelo simplemente memoriza la 'huella sonora' de cada posición, como un estudiante que reconoce el examen por una esquina doblada.
Mente viva: por qué la IA sin cuerpo sigue ciega
El enfoque estándar actual para entrenar a la IA se parece a un niño encerrado en una biblioteca: recuerda millones de libros, pero no sabe que el fuego quema o que una caída duele.
Sistemas y Control2026-07-151 minarXiv:2607.13766exprés
Gemelo digital: cómo el comportamiento invisible de las personas cambia los planes
En cualquier proyecto urbano, el comportamiento de los habitantes es una fuerza invisible de la que depende el éxito. Un vecino indeciso puede retrasar la instalación de paneles solares en toda una manzana: su cautela desencadena un aumento del desorden.
¿Por qué la inteligencia artificial repite viejos errores?
Las catástrofes tecnológicas, como Chernóbil, raramente ocurren de repente. Se gestan durante años: las organizaciones ignoran las advertencias porque su complejidad recuerda al crecimiento de la entropía, una medida del caos implacable que se acumula silenciosamente hasta que se desata como una avalancha.
Cómo la IA dejó de confundir los sonidos en los guiones
Los modelos que convierten texto en audio recrean bien los sonidos individuales, pero se confunden cuando en el guión hay varios. Por ejemplo, según el guión primero suena el timbre, luego los pasos, después el portazo. El generador puede alterar los eventos y el oyente escuchará los pasos antes del timbre.
Sonido2026-07-151 minarXiv:2607.13477exprés
Los jueces de IA no escuchan con oídos, sino con etiquetas
Los jueces automáticos del habla son algoritmos que evalúan la pronunciación y las emociones. Sin embargo, a menudo funcionan como un crítico culinario que emite un veredicto tras leer el menú, pero sin probar el plato.
Cómo la IA aprende a no mirar la chuleta
El diagnosticador de IA aprende como un estudiante de medicina antes de un examen. Se le dan una radiografía y las quejas del paciente. Pero a veces, entre los materiales de estudio, aparece el informe completo del médico: la respuesta entera. Entonces la red neuronal lo memoriza, y la precisión en el examen se dispara al 98%.
IA con lupa y espectrómetro: evaluación de la calidad de imágenes
Evaluar la calidad de una imagen es tarea de un inspector meticuloso con un juego de herramientas. La red neuronal IQA-T1 actúa exactamente así: no solo observa la imagen, sino que aplica ora un espectroscopio, ora un luxómetro.
La IA domina las recetas de las transformaciones químicas
Preparar un plato complejo exige una receta clara: primero cortar, luego sofreír, añadir las especias en el momento justo. Las transformaciones químicas también siguen recetas paso a paso, mecanismos donde los átomos de carbono e hidrógeno se reorganizan en un orden estricto.
Robótica2026-07-141 minarXiv:2607.12861exprés
El mapa invisible del enjambre de robots
Un enjambre de robots se asemeja a una bandada de luciérnagas: cada uno se mueve por instinto 'hacia donde hay más espacio', y el caos se convierte en orden. Durante mucho tiempo fue un misterio cómo surge la coordinación sin comunicación ni órdenes.
Cómo la IA dejó de leer lo innecesario
Los asistentes de programación suelen actuar como un cocinero que, para hervir un solo huevo, relee el libro de cocina entero. Al recibir la tarea de hacer una pequeña corrección, vuelven a abrir decenas de archivos y verifican vínculos ya conocidos. Esto es trabajo innecesario: energía que se desperdicia.
Sistemas y Control2026-07-131 minarXiv:2607.11122exprés
Controlador flotador: estabilidad mediante una ecuación instantánea
El flotador en el tanque del inodoro es un controlador ideal: al detectar el nivel de agua, lleva instantáneamente el sistema al equilibrio sin mirar al pasado. Los ingenieros aplicaron este principio a las redes neuronales.
La duda se delata en el silencio: la IA lee las pausas
Un nuevo sistema analiza una entrevista corta para reconocer las dudas de una persona, combinando texto, voz y expresión facial. Pero la clave principal de la inseguridad resultó ser la materia oscura del habla: pausas y muletillas que los sistemas de voz estándar borran como un agujero negro.
Sistemas y Control2026-07-131 minarXiv:2607.11459exprés
La energía abre sus datos a la inteligencia artificial
El sistema energético vivo se parece a un organismo: las líneas de transmisión son vasos, la corriente es la sangre. Los datos, en cambio, son impulsos nerviosos que antes se perdían. mAIEnergy conecta estos «nervios» a un «cerebro» común.
Sinfonía de átomos: cómo la IA convirtió el microscopio en director de orquesta de la materia
El microscopio electrónico es un órgano gigante: en lugar de tubos, lentes electromagnéticas; en lugar de aire, un flujo de electrones acelerados. Antes solo pintaba frescos mudos del mundo atómico, condenando a los científicos a una descodificación extenuante.
Libro de cocina para proteínas
Un enorme libro de cocina: cada receta es una proteína, y el plato terminado es su función en la célula. Para preparar un manjar complejo, a menudo hay que mezclar varios ingredientes y dejar que 'cuajen' en la forma adecuada. Hasta ahora, los chefs científicos solo podían adivinar cómo se plegarían las recetas ajenas.
Votación impar: cómo la diferencia simétrica acelera los autómatas
En la sala del tribunal se presenta la cadena de entrada. Doce jurados (caminos computacionales) la examinan símbolo a símbolo. Cada uno puede declarar «culpable» (aceptar) o «inocente». Para el autómata no determinista (NFA) basta con un voto a favor.
Cómo los agentes de IA débiles se apoderan de las redes: la cristalización de la desigualdad
Una diminuta mota de polvo en una solución sobresaturada se cubre en segundos de facetas de un gran cristal. Las partículas vecinas quedan invisibles. Un proceso similar se ha descubierto recientemente en comunidades de agentes lingüísticos.
Retoque con normas: dónde termina la ciencia y empieza el engaño
En la pantalla, el resultado de un modelado complejísimo: dos planetas colisionan, se expande una onda de choque. Un par de clics en el editor y las sombras duras se suavizan, el ruido se atenúa, el fondo se oscurece. Este retoque digital (edición de imagen para mejorar la apariencia) forma parte desde hace tiempo del arsenal de los científicos.