Комитет простых деревьев, каждое из которых исправляет ошибки предыдущего; долгое время стандартный классификатор в физике частиц.Бустинг деревьев решений (BDT) — это метод ансамблевого обучения, объединяющий множество простых деревьев решений для создания мощного классификатора. Каждое дерево обучается последовательно, при этом каждое новое дерево фокусируется на ошибках, допущенных предыдущими. BDT уже более десяти лет являются основным классификатором в физике высоких энергий, используемым для отделения редких сигнальных событий от подавляющего фонового шума в данных коллайдеров.
Концепция бустинга была предложена Робертом Шапирой в 1990 году, а алгоритм AdaBoost был разработан Фройндом и Шапирой в 1995 году. BDT стали стандартом в физике частиц после открытия бозона Хиггса в 2012 году, где они сыграли ключевую роль в отделении сигнала Хиггса от фона.
Наиболее распространённый алгоритм бустинга — AdaBoost: начните с набора весов на обучающих выборках, обучите неглубокое дерево, затем увеличьте веса неправильно классифицированных образцов и уменьшите веса правильно классифицированных. Следующее дерево обучается на перевзвешенных данных, и процесс повторяется. Итоговый прогноз — взвешенное голосование всех деревьев. Градиентный бустинг — это обобщение, которое оптимизирует произвольную функцию потерь, подгоняя каждое новое дерево под остаточные ошибки текущего ансамбля.
BDT используются в физике частиц для классификации событий, в кредитном скоринге для оценки рисков и в медицинской диагностике для прогнозирования заболеваний на основе данных пациентов.
При открытии бозона Хиггса в 2012 году BDT оказались настолько эффективными, что помогли выделить сигнал, который появлялся лишь примерно в одном из триллиона протон-протонных столкновений.








