种植决策树
默认情况下,fitctree
而且fitrtree
使用标准车算法[1]创建决策树。也就是说,它们执行以下步骤:
从所有输入数据开始,检查每个预测器上所有可能的二进制分割。
选择具有最佳优化准则的分割。
拆分可能导致子节点的观测值过少(小于
MinLeafSize
参数)。为了避免这种情况,软件选择产生最佳优化准则的分割MinLeafSize
约束。
强制分割。
对两个子节点进行递归重复。
说明还需要两项:优化准则的描述和停止规则的描述。
停止规则:当下列任何一种情况发生时停止分裂:
节点为纯.
对于分类,如果一个节点只包含一个类的观察值,那么它就是纯节点。
对于回归,如果该节点中观测到的响应的均方误差(MSE)低于整个数据中观测到的响应的均方误差(MSE)乘以每个节点的二次误差容差(
QuadraticErrorTolerance
参数)。
少于
MinParentSize
这个节点的观察结果。对该节点施加的任何分割都会产生小于的子节点
MinLeafSize
观察。算法分裂
MaxNumSplits
节点。
优化准则:
回归:均方误差(MSE)。选择一个分割来最小化预测相对于训练数据的MSE。
分类:三种措施之一,取决于设置
SplitCriterion
名称-值对:gdi的
(默认的基尼多样性指数)“两个”
“异常”
详细信息请参见
ClassificationTree
更多关于.
有关其他分离预测器选择技术,请参见选择分裂预测器选择技术.
对于连续预测器,树可以在为该预测器找到的任何两个相邻的唯一值之间分割一半。对于分类预测器l级别,一个分类树需要考虑2l1-1分割来找到最佳分割。或者,您可以选择启发式算法来找到一个好的分割,如中所述分类树中的分类预测符拆分.
对于双核及以上系统,fitctree
而且fitrtree
并行训练决策树使用英特尔®线程构建块(TBB)。有关Intel TBB的详细信息,请参见https://www.intel.com/content/www/us/en/developer/tools/oneapi/onetbb.html.
参考文献
[1]布雷曼,L. J. H.弗里德曼,R. A.奥尔申和C. J.斯通。分类和回归树。佛罗里达州博卡拉顿:查普曼和霍尔,1984年。
另请参阅
fitctree
|fitrtree
|ClassificationTree
|RegressionTree