骰宝技巧 小试牛刀往往还能出其不意分类集成算法

金科应用研院
通过简单的分类算法可以开发出一版还不错的评分卡模型，但是这种单一模型很可能会发生过拟合或者分类器本身分类能力很弱的情况。就算是调参也无法达到我们预期的效果，小编在这里向大家介绍在sklearn库中的分类集成算法，能使减少模型的过拟合以及将弱分类里整合成强分类器，从而达到我们做评分卡当初所设定的预期效果。

分类集成算法进阶篇

1、Bagging在集成算法中，bagging 方法会在原始训练集的随机子集上构建一类黑盒估计器的多个实例，然后把这些估计器的预测结果结合起来形成最终的预测结果。 该方法通过在构建模型的过程中引入随机性，来减少基估计器的方差(例如骰宝技巧，决策树)。 在多数情况下，bagging 方法提供了一种非常简单的方式来对单一模型进行改进，而无需修改背后的算法。 因为 bagging 方法可以减小过拟合，所以通常在强分类器和复杂模型上使用时表现的很好。
函数：sklearn.ensemble.BaggingClassifier
用法：from sklearn.ensemble import BaggingClassifier
from sklearn.neighbors import KNeighborsClassifier
#KNeighborsClassifier()为对数据集的随机子集进行拟合的基本模型KNN
#参数max_samples为从X中抽取的样本数，用于训练每个基本模型
#参数max_features为从X中提取的用于训练每个基模型的特征数
bagging = BaggingClassifier(KNeighborsClassifier(),max_samples=0.5, max_features=0.5)
bagging .fit(X,y)


2、Random Forest实际上是一种特殊的bagging方法，它将决策树用作bagging中的模型。首先，用bootstrap方法生成m个训练集，然后，对于每个训练集，构造一颗决策树，在节点找特征进行分裂的时候，并不是对所有特征找到能使得指标（如信息增益）最大的，而是在特征中随机抽取一部分特征，在抽到的特征中间找到最优解，应用于节点，进行分裂。
函数：sklearn.ensemble.RandomForestClassifier

用法：from klearn.ensemble import RandomForestClassifier
#参数n_estimators为随机森林中决策树模型的数量
clf=RandomForestClassifier(n_estimators=10)

clf.fit(X,y)


3、AdaBoostAdaboost算法是一种提升方法，将多个弱分类器，组合成强分类器。
它的自适应在于：前一个弱分类器分错的样本的权值（样本对应的权值）会得到加强，权值更新后的样本再次被用来训练下一个新的弱分类器。在每轮训练中，用总体（样本总体）训练新的弱分类器，产生新的样本权值、该弱分类器的话语权，一直迭代直到达到预定的错误率或达到指定的最大迭代次数。
函数：sklearn.ensemble.AdaBoostClassifier

用法：from klearn.ensemble import AdaBoostClassifier
#参数n_estimators为终止Boost的最大估计数。在完全匹配的情况下，会提前停止
clf=AdaBoostClassifier(n_estimators=100)
clf.fit(X,y)


4、GBDT
GBDT 是 boosting 的其中一种方法，它主要的思想是，每一次建立单个学习器时，是在之前建立的模型的损失函数的梯度下降方向。
函数：sklearn.ensemble.GradientBoostingClassifier
用法：from klearn.ensemble import GradientBoostingClassifier
#参数n_estimators为终止Boost的最大估计数。在完全匹配的情况下，会提前停止
#参数learning_rate为学习频率，决定了决策树迭代的步长
#参数max_depth为每一颗决策树的最大节点数
#参数random_state为每次产生随机数的随机种子
clf = GradientBoostingClassifier(n_estimators=100, learning_rate=1.0,
max_depth=1, random_state=0)
clf.fit(X,y)

微信公众号搜索：「 金科应用研院」
可以从菜单栏点击「在线学习」
更多风控培训课程与干货学习资料，都在微信公众号


回复关键字： 「风控量化福利包」➡️领取干货学习资料
回复任意词可以加我们官方微信加入百人风控学习群
不定期分享干货资料，与行业内总监大咖一起讨论风控经验～