Насколько каждая входная переменная на самом деле влияет на решения обученной модели.Важность признаков относится к методам, которые присваивают оценку входным признакам на основе того, насколько они полезны для предсказания целевой переменной в обученной модели. Это помогает интерпретировать, какие переменные наиболее влиятельны в решениях модели, способствуя пониманию модели, отбору признаков и получению инсайтов в предметной области.
Концепция неформально использовалась десятилетиями, но формализованные методы, такие как важность по Джини, были введены с случайными лесами в начале 2000-х годов Лео Брейманом и Адель Катлер. Важность по перестановкам также стала популярной примерно в то время.
Методы различаются в зависимости от типа модели. Для моделей на основе деревьев (например, случайные леса, градиентный бустинг) важность часто вычисляется по тому, насколько каждый признак уменьшает нечистоту (например, нечистоту Джини или энтропию) во всех разбиениях. Для линейных моделей величина коэффициентов может служить приблизительной оценкой. Агностические к модели методы, такие как важность по перестановкам, измеряют падение производительности модели при случайном перемешивании значений признака, разрывая его связь с целевой переменной.
Используется в таких областях, как геномика, для выявления генов, наиболее предсказывающих заболевание, в маркетинге для понимания ключевых факторов, влияющих на клиентов, и при отладке моделей, чтобы убедиться, что модель опирается на разумные признаки, а не на ложные корреляции.
Оценки важности признаков относительны и могут вводить в заблуждение, если признаки коррелированы; действительно важный признак может получить низкую оценку, если коррелированный признак уже используется в модели.















