Объяснимый ИИ — это подраздел искусственного интеллекта, сосредоточенный на том, чтобы сделать решения и внутренние механизмы моделей ИИ понятными для человека.Объяснимый искусственный интеллект (XAI) — направление, которое делает работу моделей машинного обучения прозрачной для человека. В отличие от традиционных нейросетей — «чёрных ящиков», XAI предоставляет интерпретацию: почему модель пришла к такому выводу, какие признаки были важны, насколько надёжен прогноз. Подходы делятся на интерпретируемые модели (решающие деревья, линейные модели) и пост-объяснения для уже обученных сложных моделей (LIME, SHAP, градиентные карты). Это критично в медицине, финансах, юриспруденции, где ошибка может стоить жизни или свободы.
Проблема чёрного ящика обострилась с ренессансом глубокого обучения в 2012 году. Ранние работы по интерпретации моделей включают анализ весов в 1990-х, но как отдельная дисциплина XAI оформилась после 2016 года, когда DARPA запустила программу Explainable AI. Формальное право на объяснение алгоритмических решений закрепил Общий регламент по защите данных (GDPR) в ЕС.
В основе XAI лежат методы аппроксимации сложной функции решения простой интерпретируемой моделью в локальной окрестности каждого примера (LIME). SHAP использует теорию игр: вклад каждого признака вычисляется как его предельный вклад по всем возможным подмножествам признаков. Градиентные методы (Grad-CAM) визуализируют, какие участки входного изображения сильнее всего активировали нейроны последнего свёрточного слоя, используя градиенты целевого класса. Для текстовых моделей (transformers) механизм attention позволяет подсветить важные слова.
Врач видит не только диагноз от ИИ, но и снимок с подсвеченной опухолью, чтобы убедиться самому. Банк объясняет клиенту, почему отказал в кредите.
Один из методов XAI, SHAP, назван в честь Шепли из теории игр — он справедливо распределяет «вклад» каждого признака в решение, как премию между игроками команды.
