机器学习算法之决策树

作者：两颗橘树

前言

决策树是一种简单高效并且具有强解释性的模型，广泛应用于数据分析领域。其本质是一颗由多个判断节点组成的树，如：

决策树

在使用模型进行预测时，根据输入参数依次在各个判断节点进行判断游走，最后到叶子节点即为预测结果。 36大数据（http://www.36dsj.com/）

如何构造决策树

决策树算法的核心是通过对数据的学习，选定判断节点，构造一颗合适的决策树。

假设我们从用户行为日志中整理出如下数据：

原始数据

我们的目的是要利用这些数据，训练决策树模型，模型训练好后，我们就可以通过任意给定的用户来源网站、位置、是否阅读过 FAQ、浏览网页数信息，预测该用户是否会进行付费以及付费类型，供运营使用。

选择合适的拆分条件

我们知道决策树是由一个个判断节点组成，每经过一个判断节点数据就会被拆分一次。上面数据中有4种属性，每种属性下面有多种值，我们可以按位置是否来自「浙江」进行拆分，拆分结果为：

按是否来自「浙江」拆分结果

我们「拍脑袋」进行了一次拆分，到底这么拆分合不合适，是不是最佳，我们需要量化指标来进行评价，在决策树算法中，我们通过基尼不纯度或者熵来对一个集合进行的有序程度进行量化，然后引入信息增益概念对一次拆分进行量化评价。下面依次介绍。

基尼不纯度

基尼不纯度是指将来自集合中的某种结果随机应用于集合中某一数据项的预期误差率。如何集合中的每一个数据项都属于同一分类，那么推测的结果总会是正确的，因此误差率是 0;如果有 4 种可能的结果均匀分布在集合内，出错可能性是75%，基尼不纯度为 0.75。该值越高，说明拆分的越不理想，如果该值为 0，说明完美拆分。java 实现代码如下：

熵

熵是信息论中的概念，用来表示集合的无序程度，熵越大表示集合越混乱，反之则表示集合越有序。熵的计算公式为： 36大数据（http://www.36dsj.com/）

java 代码实现如下：

基尼不纯度与熵对比

两者主要区别在于，熵到达峰值的过程相对慢一些。因此熵对混乱集合的「判罚」往往更重一些。通常情况下，熵的使用更加频繁。 36大数据（http://www.36dsj.com/）

信息增益

假设集合 U，一次拆分后变为了两个集合 u1 和 u2 ，则有：

E 可以是基尼不纯度或熵。

使用 Pu1 和 Pu2 是为了得到拆分后两个集合基尼不纯度或熵的加权平均，其中 :

1. Pu1 = Size(u1) / Size(U)
2. Pu2 = Size(u2) / Size(U)

信息增益越大，说明整个集合从无序到有序的速度越快，本次拆分越有效。

构造决策树

我们已经可以通过信息增益量化一次拆分的结果好坏，下一步就是构造决策树，主要步骤如下：

1. 遍历每个决策条件(如：位置、来源网站)，对结果集进行拆分
2. 计算该决策条件下，所有可能的拆分情况的信息增益，信息增益最大的拆分为本次最优拆分
3. 递归执行1、2两步，直至信息增益<=0

执行完上述步骤后，就构造出了一颗决策树，如图：

决策树

决策树剪枝

为什么要剪枝 36大数据（http://www.36dsj.com/）

训练出得决策树存在过度拟合现象——决策树过于针对训练的数据，专门针对训练集创建出来的分支，其熵值可能会比真实情况有所降低。

如何剪枝 36大数据（http://www.36dsj.com/）

人工设置一个信息增益的阀值，自下而上遍历决策树，将信息增益低于该阀值的拆分进行合并

处理缺失数据 36大数据（http://www.36dsj.com/）

决策树模型还有一个很大的优势，就是可以容忍缺失数据。如果决策树中某个条件缺失，可以按一定的权重分配继续往以后的分支走，最终的结果可能有多个，每个结果又一定的概率，即：

最终结果=某个分支的结果 x 该分支的权重(该分支下的结果数/总结果数)

处理数值型数据

决策树主要解决分类问题(结果是离散数据)，如果结果是数字，不会考虑这样的事实：有些数字相差很近，有些数字相差很远。为了解决这个问题，可以用方差来代替熵或基尼不纯度。

结语

本文简单介绍了决策树算法，该算法虽然简单，但是在很多场景能取得非常好的效果，值得读者一试。另外，从决策树发展出了更为高级复杂的随机森林，如果有兴趣读者可以去深入了解。

End.