Комитет декоррелированных деревьев решений, устойчивый и трудно переобучаемый.Случайный лес — это метод машинного обучения, который строит «лес» из множества деревьев решений и объединяет их предсказания. Каждое дерево обучается на случайной подвыборке данных и на каждом разбиении рассматривает случайное подмножество признаков, что делает деревья отличными друг от друга. Итоговый прогноз — это среднее значение (для регрессии) или голосование большинством (для классификации) всех деревьев. Такой ансамблевый подход снижает риск переобучения, которым часто страдает одно дерево решений, делая модель устойчивой и точной на новых данных.
Представлен Лео Брейманом в 2001 году на основе более ранних работ по бэггингу и методам случайных подпространств.
Метод создает множество деревьев решений, каждое из которых обучается на бутстрэп-выборке (случайной выборке с возвращением) исходных данных. На каждом узле дерева для наилучшего разбиения рассматривается только случайное подмножество признаков, а не все признаки. Это декоррелирует деревья — они совершают разные ошибки. При прогнозировании каждое дерево дает свой результат, а лес агрегирует их. Случайность гарантирует, что ни одно дерево не доминирует, а усреднение сглаживает шум отдельных деревьев.
Используется в финансах для кредитного скоринга, в биоинформатике для отбора генов и в дистанционном зондировании для классификации типов земного покрова.
Случайные леса могут оценивать, какие признаки наиболее важны для прогноза, без дополнительных вычислений, измеряя, насколько каждый признак снижает нечистоту во всех деревьях.














