演算法

AdaBoost是一种分类和回归的预测算法。

AdaBoost(自适应增强)是一种集成学习算法,可以用于分类或回归。尽管AdaBoost比许多软件更能抵抗过拟合机器学习算法,它往往是敏感的噪声数据和异常值。

AdaBoost之所以被称为自适应的,是因为它使用多次迭代来生成单个复合强学习器。AdaBoost通过迭代添加弱学习器(与真正的分类器只有轻微相关的分类器)来创建强学习器(与真正的分类器有良好关联的分类器)。在每一轮训练中,一个新的弱学习者被添加到集合中,并调整权重向量,以专注于前几轮分类错误的例子。结果是一个分类器有更高的准确性比弱学习者的分类器。

自适应增强包括以下算法:

  • 演算法。M1和演算法。M2 -二进制和多类分类的原始算法
  • LogitBoost -二进制分类(用于可分离性差的类)
  • Gentle AdaBoost或绅士boost -二元分类(用于多级分类预测器)
  • 二进制分类(抗标签噪声的健壮性)
  • LSBoost -最小二乘增强(用于回归集成)
  • 使用线性规划增强的多类分类
  • 倾斜或不平衡数据的多类分类
  • TotalBoost -多类分类比LPBoost更健壮

有关自适应增强的更多信息,请参见统计和机器学习工具箱™

参见:机器学习支持向量机

Baidu
map