当前位置：首页 > news >正文

机器学习（二十五）：决策树算法以及决策树和神经网络的对比

news 来源：原创 2025/7/16 13:39:52

一、决策树集合

单一决策树会对训练数据的变化很敏感。例子：输入十个数据，判断是否是猫。只替换其中一个数据，信息增益最高的分裂特征就发生了改变，决策树就发生了变化。

使用决策树集合可以使算法更加健壮。例子：使用三棵决策树，输入新数据预测是否是猫，然后根据三颗决策树的结果投票决定预测结果。

替换采样：从训练数据(数量为M)中随机抽取一个记录下来，把这个数据再放回去，再进行随机抽取，直到采样数量达到M

例子：假设袋子里有四颗不同颜色的积木，替换采样方法：

步骤：

（B一般取一百左右，B如果太大了，就会导致显著减缓计算减缓，但不能显著提高整体的算法性能）

袋状决策树的核心思想是：通过减少模型的方差来提高模型的泛化能力

即使有替换采样，生成多个随机训练集，但是通过这些随机训练集训练出的不同模型，有时依旧会存在不同模型在根节点上使用相同的特征进行分裂。因此可以在每个节点分割时，随机选择部分特征，只从这部分特征中选择信息增益最大的特征进行分裂。

步骤

对原始数据集进行有放回的随机抽样，生成多个随机训练集
在每个随机训练集上训练一棵决策树。在每个节点分割时，随机选择部分特征进行考虑。例如一共n个特征，随机选取k个特征（k<n，可如 $k=\sqrt{n}$ ），从这k个特征中选取信息增益最大的特征进行分裂。
对所有决策树的预测结果进行平均（回归任务）或投票（分类任务）以得到最终预测结果

随机选取部分特征训练决策树的优点：

随机森林算法优点：

与 Bagging 不同，Boosting 是一种串行过程，每个基模型在训练时都会关注前一个模型中被错误分类的样本，即每次替换取样时，会有更高概率去选取之前被错误分类的数据，从而不断提高整体模型的准确性

XGBoost算法特点：

XGBoost算法的代码实现：

分类算法：

回归算法：

学习来源：吴恩达机器学习，17.1-17.5节