python决策树之C4.5算法详解

本文为大家分享了决策树之C4.5算法，供大家参考，具体内容如下

1. C4.5算法简介

"" alt="这里写图片描述" src="/UploadFiles/2021-04-08/2017122014125733.png">

其中，训练数据集S通过属性A的属性值划分为m个子数据集，|Sj|表示第j个子数据集中样本数量，|S|表示划分之前数据集中样本总数量。

"" alt="这里写图片描述" src="/UploadFiles/2021-04-08/2017122014125734.png">

信息增益的详细计算方法，可以参考博客“决策树之ID3算法及其Python实现”中信息增益的计算。

"" alt="这里写图片描述" src="/UploadFiles/2021-04-08/2017122014125735.png">

"" alt="这里写图片描述" src="/UploadFiles/2021-04-08/2017122014125736.png">

其中，ei表示子树第i个叶子节点错误分类的样本数量，ni表示表示子树第i个叶子节点中样本的总数量。

"" alt="这里写图片描述" src="/UploadFiles/2021-04-08/2017122014125737.png">

把子树替换成叶子节点后，该叶子节点的误判率为：

其中，e′=∑Li=1ei，n′=∑Li=1ni。

同时，该叶子结点的误判次数也是一个伯努利分布，因此该叶子节点误判次数的均值为：

剪枝的条件为：

满足剪枝条件时，则将所得叶子节点替换该子树，即为剪枝操作。

5. 缺失属性值的处理

"text-align: center">

7. C4.5算法优缺点分析

优点：

（1）通过信息增益率选择分裂属性，克服了ID3算法中通过信息增益倾向于选择拥有多个属性值的属性作为分裂属性的不足；
（2）能够处理离散型和连续型的属性类型，即将连续型的属性进行离散化处理；
（3）构造决策树之后进行剪枝操作；
（4）能够处理具有缺失属性值的训练数据。

缺点：
（1）算法的计算效率较低，特别是针对含有连续属性值的训练样本时表现的尤为突出。
（2）算法在选择分裂属性时没有考虑到条件属性间的相关性，只计算数据集中每一个条件属性与决策属性之间的期望信息，有可能影响到属性选择的正确性。

以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持。