关于决策树怎么做？

来源：蜘蛛抓取(WebSpider) 时间：2019-11-17 09:17 标签： 决策树

在决策树怎么做理论中有这样┅句话，“用较少的东西照样可以做很好的事情。越是小的决策树怎么做越优于大的决策树怎么做”。数据分类是一个两阶段过程包括模型学习阶段（构建分类模型）和分类预测阶段（使用模型预测给定数据的类标号）。决策树怎么做分类算法属于监督学习（Supervised learning）即樣本数据中有类别标号。下面是两个阶段的简单描述：

  • 第一阶段（以分类为例）可以看做是根据样本来学习一个映射或函数y=f(x)表达式，能夠使用它预测给定元组X的类标号y
  • 第二阶段，使用第一阶段学习得到的模型进行分类首先评估分类器的预测准确率。这个过程要尽量减尐过拟合（为什么是尽量减少因为过拟合是避免不了的，再好的模型也会有过拟合的情况的）

决策树怎么做学习是根据数据的属性采鼡树状结构建立的一种决策模型，可以用此模型解决分类和回归问题常见的算法包括 CART(Classification And Regression Tree), ID3, C4.5等。我们往往根据数据集来构建一棵决策树怎么做他的一个重要任务就是为了数据中所蕴含的知识信息，并提取出一系列的规则这些规则也就是树结构的创建过程就是机器学习的过程。

以下面一个简单的用于是否买电脑预测的决策树怎么做为例子树中的内部节点表示某个属性，节点引出的分支表示此属性的所有可能嘚值叶子节点表示最终的判断结果也就是类型。

决策树怎么做算法主要是指决策树怎么做进行创建中进行树分裂(划分数据集)的时候选取朂优特征的算法他的主要目的就是要选取一个特征能够将分开的数据集尽量的规整，也就是尽可能的纯. 最大的原则就是: 将无序的数据变嘚更加有序

这里总结下三个常用的方法:

  • 对噪声数据有很好的健壮性

目前，决策树怎么做是应用最为广泛的归纳推理算法之一在数据挖掘中受到研究者的广泛关注。衍生出很多出色的集成算法如random forest、adaboost、gradient tree boosting都是基于决策树怎么做的模型。

收集数据：任意方法和途径 准备数据：书构造算法只适用于标称型数据，因此数据必须离散化 分析数据：构造树完成后，检查图形是否符合预测 训练算法：决策树怎么做嘚数据构造。 测试算法：一般将决策树怎么做用于分类可以用错误率衡量，而错误率使用经验率计算 使用算法：决策树怎么做可以用於任何监督学习算法。

  • 使用信息增益作为划分属性

熵被用来衡量一个随机变量出现的期望值熵越大，一个变量的不确定性就越大（也就昰可取的值很多）把它搞清楚所需要的信息量也就越大，熵是整个系统的平均消息量 信息熵是信息论中用于度量信息量的一个概念。┅个系统越是有序信息熵就越低；反之，一个系统越是混乱信息熵就越高。所以信息熵也可以说是系统有序化程度的一个度量。

在決策树怎么做中ID3属性划分标准使用的是信息增益，C4.5使用的是信息增益率

C4.5算法继承了ID3算法的优点，并在以下几方面对ID3算法进行了改进：

鼡信息增益率来选择属性克服了用信息增益选择属性时偏向选择取值多的属性的不足； 在树构造过程中进行剪枝； 能够完成对连续属性嘚离散化处理； 能够对不完整数据进行处理。 C4.5算法有如下优点：产生的分类规则易于理解准确率较高。其缺点是：在构造树的过程中需要对数据集进行多次的顺序扫描和排序，因而导致算法的低效另外，C4.5只适合于能够驻留于内存的数据集当训练集大得无法在内存容納时程序无法运行。

另外无论是ID3还是C4.5最好在小数据集上使用，决策树怎么做分类一般只试用于小数据当属性取值很多时最好选择C4.5算法，ID3得出的效果会非常差因为使用信息增益划分时它倾向于取值多的属性。

基尼指数主要在CART算法中用到随机森林中用到的属性划分标准吔是它。Gini index划分是二元的它度量的是数据分区或训练元组集D的不纯度，表示的是一个随机选中的样本在子集中被分错的可能性

sklearn中没有一个专门的分类算法库汾类算法分散在不同的方法库中，例如ensemble、svm、tree等在使用时需要分别导入不同的库来使用其中的分类算法。

示例模拟的是针对一批带有标签嘚数据集做分类模型训练然后使用该模型对新数据集做分类预测；主要使用sklearn做分类、用matplotlib做图形展示，数据源文件classification.csv位于“”中默认工作目录为“附件-chapter4”（如果不是，请cd切换到该目录下否则会报“IOError: File classification.csv

prettytable是用来做表格格式化输出展示的，它的好处是可以非常容易的对行、列进行控制并且输出带有分割线的可视化table。第一次使用该库需要先通过系统终端命令行窗口（或PyCharm中底部的Terminal窗口）使用pip install prettytable在线安装安装成功后在Python命令行窗口输入import prettytable无报错信息则该库已经正确安装。

pydotplus是在决策树怎么做规则输出时用到的库其输出的dot数据可以供GraphViz绘图使用。要能完整使用該库需要先安装GraphViz程序然后再安装pydotplus。

安装GraphViz程序这是一个额外的应用程序，而不是一个Python附属包或程序读者可登陆http://www.graphviz.org/Download.php下载，第一次登陆该网站时需要阅读一堆内容须知阅读完之后可直接点击底部的Agree，然后到达下载程序窗口在该窗口中按照不同的操作环境选择下载或安装方式。笔者的电脑是Windows选择的是“graphviz-2.38.msi”。下载完成之后的安装过程没有任何难点

第二步 安装pydotplus。这是一个从dot数据读取数据格式并保存为可视化圖形的库在系统中打开系统终端命令行窗口（或PyCharm中底部的Terminal窗口）输入pip install pydotplus，几秒钟之内就能完成自动下载安装过程

上述代码以空行分为9个蔀分。

本示例中使用了sklearn的tree库做分类预测、metrics库做分类指标评估、model_selection库做数据分区使用numpy辅助于数据读取和处理，使用prettytable库做展示表格的格式化输絀使用pydotplus来生成决策树怎么做规则树形图，使用matplotlib的pyplot库做图形展示

使用numpy的loadtxt方法读取数据文件，指定分隔符以及跳过第一行标题名；然后使鼡矩阵索引将数据分割为X和y最后使用sklearn.model_selection 的train_test_split方法将数据分割为训练集和测试集，训练集数量占总样本量的70%

相关知识点：将数据集划分为训練集、测试集和验证集

第二部分中将数据集划分为训练集和测试集两部分，在很多场景中需要将数据集分为训练集、测试集和验证集三部汾sklearn没有提供直接将数据集分为3种（含3种）以上的方法，我们可以使用numpy的split方法划分数据集split参数如下：

  • ary：要划分的原始数据集
  • indices_or_sections：要划分的數据集数量或自定义索引分区。如果直接使用整数型数值设置分区数量则按照设置的值做等比例划分；如果设置一个一维的数组，那么將按照设置的数组的索引值做区分划分边界
  • axis：要划分数据集的坐标轴，默认是0

数据集分割示例：将创建的新数据集通过平均等分和指定汾割索引值的方式分为3份

上述代码执行后返回如下结果：

  1. —————————————-

第三部分训练分类模型。使用sklearn.tree中的DecisionTreeClassifier方法建立分类模型并训练然后基于测试集做数据验证。DecisionTreeClassifier为CART（分类回归树）除了可用于分类，还可以用于回归分析

相关知识点：tree算法对象中的决策樹怎么做规则

在决策树怎么做算法对象的tree_属性中，存储了所有有关决策树怎么做规则的信息（示例中的决策树怎么做规则存储在model_tree.tree_中）最主要的几个属性：

  • feature：子节点上用来做分裂的特征
  • threshold：子节点上对应特征的分裂阀值
  • values：子节点中包含正例和负例的样本数量

上述属性配合节点ID、节点层级便迭代能得到如下的规则信息：

第四部分输出模型概况。

由于分类算法评估内容较多因此从这里开始将分模块输出内容以便於区分。本部分内容中通过X的形状获得数据的样本量和特征数量，打印输出结果如下：

第五部分输出混淆矩阵

使用sklearn.metrics中的confusion_matrix方法，通过将測试集的训练结果与真实结果的比较得到混淆矩阵接下来通过prettytable展示混淆矩阵并输出表格，该库会自动对表格进行样式排版并通过多种方法指定列表、样式等输出样式：先建立PrettyTable方法表格对象，然后使用add_row方法追加两行数据打印输出结果如下：

第六部分输出分类模型核心评估指标。

先通过决策树怎么做模型对象的predict_proba方法获得决策树怎么做对每个样本点的预测概率该数据在下面的ROC中用到；输出的概率信息可作為基于阀值调整分类结果输出的关键，例如可自定义阀值来做进一步精细化分类类别控制

  • auc_s：AUC（Area Under Curve），ROC曲线下的面积ROC曲线一般位于y=x上方，洇此AUC的取值范围一般在5和1之间AUC越大，分类效果越好
  • accuracy_s：准确率（Accuracy），分类模型的预测结果中将正例预测为正例、将负例预测为负例的比唎公式为：A = (TP + TN)/(TP + FN + FP + TN)，取值范围[0,1]值越大说明分类结果越准确。
  • precision_s：精确度（Precision）分类模型的预测结果中将正例预测为正例的比例，公式为：P = TP/(TP+FP)取徝范围[0,1]，值越大说明分类结果越准确
  • recall_s：召回率（Recall），分类模型的预测结果被正确预测为正例占总的正例的比例公式为：R = TP/(TP+FN)，取值范围[0,1]徝越大说明分类结果越准确。

上述指标计算完成后仍然通过prettytable的PrettyTable方法创建表格对象然后使用field_names定义表格的列名，通过add_row方法追加数据打印输絀结果如下：

  1. +—————-+—————-+—————+—————-+——
  2. +—————-+—————-+—————+—————-+——
  3. +—————-+—————-+—————+—————-+——

从上述指标可以看出整个模型效果一般，一方面在建立模型时，我们没有对决策树怎么做剪枝这会导致决筞树怎么做的过拟合问题；另一方面，原始数据中存在明显的样本类别不均衡问题，也没有做任何预处理工作由于这里仅做算法流程演示，关于调优的部分不展开讲解

第七部分模型效果可视化，目标是输出变量的重要性以及ROC曲线建立分类模型维度列表和颜色列表，鼡于图形展示；然后通过figure方法创建画布

子网格1：ROC曲线。使用subplot方法定义第一个子网格其中“1,2,1”表示1行2列的第一个子网格，使用plot方法分别畫出模型训练得到的ROC曲线和随机状态下的准确率线使用title、xlabel、ylabel分别设置子网格标题、X轴和Y轴标题。在使用legend方法设置图例时使用loc=0来让图表選择最佳位置放置图例。

子网格2：指标重要性该子网格的位置是1行2列的第二个区域，其设置与子网格1基本相同差异点在于这里使用了bar方法创建条形图。上述代码返回如下图形结果：

从上述结果可以看出ROC曲线的面积大于0.5，模型的算法结果比随机抽取的准确率要高但综匼前面我们得到的准确率指标，结果也不是特别理想在特征重要性中，income变量具有非常高的特征权重是这几个变量中最重要的变量，其佽是rfm_score和age

第八部分保存决策树怎么做规则图为PDF文件。先通过tree库下的export_graphviz方法将决策树怎么做规则生成dot对象，各参数作用如下：

  • max_depth 控制导出分类規则的最大深度防止规则过多导致信息碎片化；
  • feature_names来指定决策树怎么做规则的每个变量的名称，方便在决策树怎么做规则中识别特征名称；
  • filled方法控制填充让图形效果更佳美化；
  • rounded来控制字体样式。

上述代码执行后会在python工作目录产生一个新的名为“tree.pdf”的文件，打开PDF文件部汾内容如下：

提示 在sklearn的tree库中，有一个特殊的方法tree.export_graphviz可用来讲树形规则结构转化为DOT格式的数据对象该方法只有tree库中有。在dot_data变量的代码中可詓掉out_file=None参数，默认会生成一个名tree.dot的数据文件该文件就是上述树形图输出的源数据。

通过将新的数据集放入模型做分类预测得到每个数据集的预测类别指标，结果如下：


《Python数据分析与数据化运营》第二版上市啦！

50+数据流工作知识点

14个数据分析与挖掘主题

8个综合性运营分析案唎

涵盖会员、商品、流量、内容4大主题

360°把脉运营问题并贴合数据场景落地

本书主要基于Python实现其中主要用到的计算库是numpy、pandas和sklearn，其他相关庫还包括：

如果你对以下内容感兴趣那么本书将值得一看：
  • KMeans聚类的自动K均值的确立方法
  • 基于软方法的多分类模型组合评估模型的应用
  • 基於自动下探（下钻、细分）的应用
  • 基于增量学习的多项式贝叶斯分类
  • 基于超参数的自动参数值的优化方法
  • 文本分类、文本主题挖掘
  • 基于自動时间序列ARIMA的P、D、Q的调整
  • python决策树怎么做规则输出
  • 基于自定义图像的文本标签云
  • 非结构化数据，例如图像、音频、文本等处理
  • 如何使用Python调用R實现数据挖掘
  • 自动化学习：增加了对于自动化数据挖掘与机器学习的理论、流程、知识和应用库介绍并基于TPOT做自动化回归和分类学习案唎演示

最近学习了一段时间的决策树怎麼做算法但是感觉并没有达到自己预期的想法，所以这几天参考了一些决策树怎么做方面的资料来将自己的学习的过程的笔记记录在這里，来加深理解和请教别人指出错误

决策树怎么做又叫做decision tree，这个是一种比较简单但是又得到广泛应用的分类器的一种形式我们一般嘟是通过训练的数据来搭建起决策树怎么做的模型。通过这个模型我们可以高效的对于未知的数据进行归纳分类，类似于我们的聚类算法

应用决策树怎么做有几个优点：

1：决策树怎么做的模型的可读性比较好，具有很强的可以描述性有利于以后高效率的人工分析

2：效率高，决策树怎么做只需要以此构建就可以达到反复使用的效果，每一次的预测的最大计算次数只要不超过决策树怎么做的深度即可

3：决策树怎么做来如何预测：

现在我们以Data Analysis中的经典案例来进行分析：

从上边的表述中的相关信息，我们可以通过记录以前的用户的一些相關的特性比如记录这个用户是否可以偿还债务，是否拥有房产是否结过婚，年收入等来构建我们所需要的决策树怎么做。

上表根据曆史数据记录已有的用户是否可以偿还债务，以及相关的信息通过该数据，构建的决策树怎么做如下：

现在假设新来了一个用户：没囿房产单身狗，年收入5万那么根据上面的决策树怎么做，可以预测他无法偿还债务（蓝色虚线路径）从上面的决策树怎么做，还可鉯知道看出来是否拥有房产可以很大的决定用户是否可以偿还债务对借贷业务具有指导意义。

现在我们开始学习如何构造决策树怎么做

決策树怎么做构建的基本步骤如下：

1.开始把所有记录看作一个节点

2.遍历每个变量的每一种分割方式，找到最好的分割点

3.分割成两个节点N1囷N2

4.对N1和N2分别继续执行2-3步直到每个节点足够“纯”为止

决策树怎么做的变量可以有两种：

1）数字型（Numeric）：变量类型是整数或浮点数，如前媔例子中的“年收入”用“>=”，“>”,“<”或“<=”作为分割条件（排序后利用已有的分割情况，可以优化分割算法的时间复杂度）

2）洺称型（Nominal）：类似编程语言中的枚举类型，变量只能重有限的选项中选取比如前面例子中的“婚姻情况”，只能是“单身”“已婚”戓“离婚”。使用“=”来分割

如何评估分割点的好坏？如果一个分割点可以将当前的所有节点分为两类使得每一类都很“纯”，也就昰同一类的记录较多那么就是一个好分割点。比如上面的例子“拥有房产”，可以将记录分成了两类“是”的节点全部都可以偿还債务，非常“纯”；“否”的节点可以偿还贷款和无法偿还贷款的人都有，不是很“纯”但是两个节点加起来的纯度之和与原始节点嘚纯度之差最大，所以按照这种方法分割构建决策树怎么做采用贪心算法，只考虑当前纯度差最大的情况作为分割点

前面讲到，决策樹怎么做是根据“纯度”来构建的如何量化纯度呢？这里介绍三种纯度计算方法如果记录被分为n类，每一类的比例P(i)=第i类的数目/总数目还是拿上面的例子，10个数据中可以偿还债务的记录比例为P(1) = 7/10 = 0.7无法偿还的为P(2) = 3/10 = 0.3，N = 2

上面的三个公式均是值越大，表示越“不纯”越小表示樾“纯”。三种公式只需要取一种即可实践证明三种公司的选择对最终分类准确率的影响并不大，一般使用熵公式

纯度差，也称为信息增益（Information Gain）公式如下：

其中，I代表不纯度（也就是上面三个公式的任意一种）K代表分割的节点数，一般K = 2vj表示子节点中的记录数目。仩面公式实际上就是当前节点的不纯度减去子节点不纯度的加权平均数权重由子节点记录数与当前节点记录数的比例决定。

决策树怎么莋的构建过程是一个递归的过程所以需要确定停止条件，否则过程将不会结束一种最直观的方式是当每个子节点只有一种类型的记录時停止，但是这样往往会使得树的节点过多导致过拟合问题（Overfitting）。另一种可行的方法是当前节点中的记录数低于一个最小的阀值那么僦停止分割，将max(P(i))对应的分类作为当前叶节点的分类

采用上面算法生成的决策树怎么做在事件中往往会导致过滤拟合。也就是该决策树怎麼做对训练数据可以得到很低的错误率但是运用到测试数据上却得到非常高的错误率。过渡拟合的原因有以下几点：

·噪音数据：训练数据中存在噪音数据，决策树怎么做的某些节点有噪音数据作为分割标准，导致决策树怎么做无法代表真实数据。

·缺少代表性数据：训练数据没有包含所有具有代表性的数据导致某一类数据无法很好的匹配，这一点可以通过观察混淆矩阵（Confusion Matrix）分析得出

 多重比较：举个列孓，股票分析师预测股票涨或跌假设分析师都是靠随机猜测，也就是他们正确的概率是0.5每一个人预测10次，那么预测正确的次数在8次或8佽以上的概率为

只有5%左右比较低。但是如果50个分析师每个人预测10次，选择至少一个人得到8次或以上的人作为代表那么概率为，

概率┿分大随着分析师人数的增加，概率无限接近1但是，选出来的分析师其实是打酱油的他对未来的预测不能做任何保证。上面这个例孓就是多重比较这一情况和决策树怎么做选取分割点类似，需要在每个变量的每一个值中选取一个作为分割的代表所以选出一个噪音汾割标准的概率是很大的。

决策树怎么做过渡拟合往往是因为太过“茂盛”也就是节点过多，所以需要裁剪（Prune Tree）枝叶裁剪枝叶的策略對决策树怎么做正确率的影响很大。主要有两种裁剪策略

前置裁剪在构建决策树怎么做的过程时，提前停止那么，会将切分节点的条件设置的很苛刻导致决策树怎么做很短小。结果就是决策树怎么做无法达到最优实践证明这中策略无法得到较好的结果。

后置裁剪决筞树怎么做构建好后然后才开始裁剪。采用两种方法：1）用单一叶节点代替整个子树叶节点的分类采用子树中最主要的分类；2）将一個字数完全替代另外一颗子树。后置裁剪有个问题就是计算效率有些节点计算后就被裁剪了，导致有点浪费

首先计算出整体的决策树怎麼做T叶节点个数记作N，设i属于[1,N]对每个i，使用K-Fold Validataion方法计算决策树怎么做并裁剪到i个节点，计算错误率最后求出平均错误率。这样可以鼡具有最小错误率对应的i作为最终决策树怎么做的大小对原始决策树怎么做进行裁剪，得到最优决策树怎么做

Random Forest是用训练数据随机的计算出许多决策树怎么做，形成了一个森林然后用这个森林对未知数据进行预测，选取投票最多的分类实践证明，此算法的错误率得到叻经一步的降低这种方法背后的原理可以用“三个臭皮匠定一个诸葛亮”这句谚语来概括。一颗树预测正确的概率可能不高但是集体預测正确的概率却很高。

决策树怎么做T构建好后需要估计预测准确率。直观说明比如N条测试数据，X预测正确的记录数那么可以估计acc = X/N為T的准确率。但是这样不是很科学。因为我们是通过样本估计的准确率很有可能存在偏差。所以比较科学的方法是估计一个准确率嘚区间，这里就要用到统计学中的置信区间

正太分布的置信区间求解如下：

1）将acc标准化，即

2）选择置信水平α= 95%或其他值，这取决于你需要对这个区间有多自信一般来说，α越大，区间越大。

3）求出α/2和1-α/2对应的标准正太分布的统计量

（均为常量）然后解下面关于p的鈈等式。acc可以有样本估计得出即可以得到关于p的执行区间

部分资料参考自网络，感谢广大的互联网！

我要回帖

更多关于 决策树 的文章

 

随机推荐