Бустинг: каждая следующая модель исправляет ошибки предыдущей
Бэггинг строит деревья независимо и усредняет. Бустинг строит последовательно: каждое новое дерево фокусируется именно на тех примерах или остатках, где предыдущие ошиблись. Это фундаментальная разница. Бустинг — более мощный, но и более склонный к переобучению. XGBoost, LightGBM, CatBoost — все построены на этой идее и сегодня доминируют на табличных данных.