由多个弱分类器来构建强分类器，三个臭皮匠顶个诸葛亮。

Uniform Blending

赋予每个模型相同的权重。

  • Uniform Blending for Classification

  • Uniform Blending for Regression

为什么 Work

bias 和 variance 之间的 trade off.

Linear Blending

对不同的模型做线性加权。

利用测试集而不是训练集来做 Selection。

Any Blending

不一定用 Linear Blending,可以是 Any Blending(stacking).

台大冠军队分享

Bagging

前面我们做的工作都是先训练出一些模型，然后对这些模型做 Blending。那么我们能不能在训练模型的过程中，做 Blending呢？

利用 Bootstrap生成不一样的训练集得到不同的模型，然后做 Uniform Blending.

总结下，