Вот она — историческая картина модификации, которую мы с другом внесли в деревья решений с градиентным усилением. Все началось с Equifax. В 2016 году — почти десять лет назад — я попытался стать частью проекта по кредитному скорингу. На тот момент известному пакету XGBoost (2014) было всего два года, и каждый пытался применить его в своей области. В кредитном скоринге это дало значительный импульс, особенно по сравнению с моделями линейной регрессии, которые широко используются в банках из-за их интерпретируемости. Но модели GBDT быстро деградируют из-за динамичного характера рынка мошенничества. На картинке видна основная идея: поместить экстраполяторы в листья GBDT, превратив его в экстраполятор, а не в интерполятор, в отличие от большинства известных моделей ML.