Свойство модели быть интерпретируемой, позволяющее человеку понимать её процесс принятия решений.Прозрачность в машинном обучении означает степень, в которой внутренние механизмы работы модели могут быть поняты человеком. Прозрачная модель позволяет исследователям и пользователям проследить, как входные данные преобразуются в выходные, выявляя, какие признаки повлияли на решение и почему. Это критически важно в таких областях, как медицина, прогнозирование погоды и химия, где доверие к прогнозам ИИ зависит от возможности проверить их обоснованность.
Концепция интерпретируемого ИИ приобрела известность в 2010-х годах с развитием глубокого обучения, когда исследователи и регуляторы осознали, что одной лишь высокой точности недостаточно для приложений с высокими ставками. Область объяснимого ИИ (XAI) выделилась в отдельное направление исследований около 2017 года.
Прозрачность достигается с помощью таких методов, как атрибуция признаков, которая присваивает оценки важности входным переменным, или использования изначально интерпретируемых моделей, таких как деревья решений. Для сложных нейронных сетей такие методы, как карты значимости, показывают, какие части входных данных (например, пиксели изображения) оказали наибольшее влияние. Некоторые модели также выводят уровни уверенности, явно указывая, когда они неопределенны, что является формой прозрачности относительно их собственных ограничений.
Прозрачность используется в системах поддержки принятия клинических решений, где врачам необходимо понимать, почему ИИ рекомендует то или иное лечение, а также в автономных транспортных средствах, где инженеры должны проверять, что модели восприятия принимают решения на основе значимых дорожных признаков.
Некоторые модели ИИ теперь могут генерировать объяснения своих собственных прогнозов на естественном языке, позволяя модели погоды сказать: «Я прогнозирую дождь, потому что влажность выросла на 20%, а давление упало» — возможность, которая была почти невозможна для ранних нейронных сетей.
