Процесс выбора подмножества релевантных признаков для использования при построении модели.Отбор признаков — это практика решения того, какие из доступных входных переменных модель действительно должна использовать. В любом реальном наборе данных одни столбцы несут настоящий сигнал об исходе, другие избыточны друг относительно друга, а третьи — чистый шум. Сохранение всего обычно делает модель медленнее, труднее для интерпретации и — вопреки интуиции — менее точной на новых данных, потому что модель может зацепиться за случайные закономерности, которые не обобщаются. Отбор признаков сокращает вход до меньшего, более информативного набора.
Это важно, потому что стоимость модели часто определяется её входами. В медицине диагностическое правило, основанное на трёх дешёвых измерениях, гораздо удобнее, чем основанное на трёхстах, даже если оба работают одинаково. В геномике, где исследование может начинаться с миллиона генетических маркеров и лишь горстка имеет значение, отбор — не удобство, а необходимость.
Концепция соседствует с извлечением признаков, которое создаёт новые переменные путём комбинирования старых (как это делает метод главных компонент). Отбор сохраняет исходные переменные и отбрасывает некоторые; извлечение заменяет их. Оба преследуют одну цель: представление данных, которое компактно, но не теряет того, что предсказывает исход.
Методы делятся на три широкие семьи. Фильтрующие методы оценивают каждую переменную по отдельности — например, по корреляции с целевой — и сохраняют наивысшие по рангу; они быстры, но слепы к тому, как переменные взаимодействуют. Обёрточные методы многократно обучают модель на разных подмножествах и сохраняют то подмножество, которое показывает лучшие результаты при кросс-валидации; они улавливают взаимодействия, но вычислительно дороги. Встроенные методы включают отбор в само обучение: например, лассо-регрессия сжимает коэффициенты бесполезных переменных вплоть до нуля, фактически удаляя их.
В любом случае оценка должна проводиться на данных, которые отбор не видел. Если вы выбираете признаки, используя весь набор данных, а затем сообщаете точность на том же наборе, результат оказывается оптимистичным, иногда чрезмерно.
Используется повсюду в машинном обучении и статистике — при поиске биомаркеров, классификации текстов, проектировании сенсорных сетей и везде, где модель должна работать при ограничениях на количество входов или интерпретируемость.
Отбор признаков с использованием полного набора данных до кросс-валидации может заставить модель, построенную на чистом шуме, казаться предсказывающей исход — это явление известно как смещение отбора или утечка данных.
Статей пока нет