演算法

AdaBoost是一个用于分类和回归的预测算法。

AdaBoost (adaptive boosting)是一种集成学习算法,可用于分类或回归。尽管AdaBoost比许多产品更能抵抗过拟合机器学习算法,它往往是敏感的噪声数据和异常值。

AdaBoost之所以被称为自适应,是因为它使用多次迭代来生成单个复合强学习器。AdaBoost通过迭代添加弱学习器(与真正的分类器仅略有关联的分类器)来创建强学习器(与真正的分类器具有良好相关性的分类器)。在每一轮训练中,一个新的弱学习器被添加到集合中,并调整权重向量以专注于前几轮错误分类的示例。结果是一个分类器具有更高的准确性比弱学习器的分类器。

自适应增强包括以下算法:

  • 演算法。M1和AdaBoost。M2 -原始算法的二进制和多类分类
  • LogitBoost -二进制分类(用于可分离性差的类)
  • Gentle AdaBoost或GentleBoost -二元分类(用于多级分类预测器)
  • RobustBoost -二进制分类(抗标签噪声的鲁棒性)
  • LSBoost -最小二乘增强(用于回归集合)
  • LPBoost -多类分类使用线性规划增强
  • 倾斜或不平衡数据的多类分类
  • TotalBoost -多类分类比LPBoost更健壮

有关自适应增强的更多信息,请参见统计和机器学习工具箱™

参见:机器学习支持向量机

Baidu
map