Python多模型集成核心是策略性融合互补模型以降低误差，而非简单拼凑；关键在于选互补基模型、设计合理融合方式、用交叉验证防过拟合；主流方法分Bagging（如随机森林）、Boosting（如XGBoost）、Stacking三类，逻辑与适用场景各异。
Python做多模型集成，核心是用不同模型的预测结果相互补充、降低误差，不是简单拼凑，而是有策略地组合。关键在于选择互补性强的基模型、设计合理的融合方式，并通过交叉验证避免过拟合。
常用集成学习方法及对应实现
主流方法分三类：Bagging（如随机森林）、Boosting（如XGBoost、LightGBM）、Stacking（堆叠）。它们逻辑不同，适用场景也不同：
- Bagging：对训练集重采样，多个模型并行训练，再平均或投票。适合高方差模型（如决策树），能有效减小过拟合。sklearn中RandomForestClassifier就是典型实现。
- Boosting：串行训练，每轮关注前一轮犯错的样本。适合提升弱学习器，常有更高精度但更易过拟合。XGBoost、CatBoost等库提供成熟接口，调参需注意学习率和树深度。
- Stacking：用多个基模型的预测输出作为新特征，再训练一个元模型（meta-model）做最终预测。灵活性高，但容易过拟合，务必用分层预测（out-of-fold）生成第二层输入。
手动实现加权平均与投票融合
不依赖复杂框架时，可直接用sklearn的VotingClassifier或VotingRegressor做硬投票/软投票，也可自定义加权平均：
- 分类任务中，若模型A、B、C的预测概率分别为red">[0.7, 0.2, 0.1]、[0.4, 0.5, 0.1]、[0.2, 0.6, 0.2]，按权重[0.5, 0.3, 0.2]加权后得[0.49, 0.43, 0.08]，选最大值对应类别。
- 回归任务更直接：对各模型预测值加权求和即可，权重可通过验证集上的MAE或RMSE反向优化（如网格搜索或简单遍历）。
Stacking实操要点（以分类为例）
Stacking效果好但易踩坑，重点在“避免数据泄露”和“元模型简洁”：
立即学习“Python免费学习笔记（深入）”；
- 第一层模型必须用cross_val_predict生成out-of-fold预测，不能用全量训练后直接predict，否则元模型会看到“未来信息”。
- 第二层推荐用逻辑回归或轻量级树模型（如max_depth=1的DecisionTree），避免再引入高复杂度；特征仅限第一层输出，不加入原始特征（除非明确做特征增强）。
- sklearn没有原生StackingClassifier的完整封装（v0.22+有StackingClassifier，但需手动控制cv），建议用mlxtend库的StackingClassifier简化流程。
基本上就这些。集成不是模型越多越好，而是让它们“说不同的话”，再由一个靠谱的机制去听、去判断。选对方法、控住过拟合、验证够严谨，效果自然稳。
