在分类集合中处理不平衡数据或不等错误分类代价

在许多应用程序中，您可能更喜欢以非对称的方式处理数据中的类。例如，数据中对一个类的观察可能比其他类多很多。或者对一类观察结果的错误分类比对另一类观察结果的错误分类后果更严重。在这种情况下，您可以使用RUSBoost算法(指定“方法”作为“RUSBoost”)或使用名称-值对参数“之前”或“成本”的fitcensemble．

如果某些类在您的训练集中代表不足或代表过多，请使用“之前”名称-值对参数或RUSBoost算法。例如，假设您通过模拟获得训练数据。因为模拟课堂一个比模拟班贵吗B，你选择产生较少的阶级观察一个还有更多对阶级的观察B．然而，我们的期望是那个类一个和类B在真实(非模拟)情况下以不同的比例混合。在这种情况下，使用“之前”设定类的先验概率一个而且B近似于您在实际情况下所期望观察到的值。的fitcensemble函数将先验概率归一化，使它们相加为1．将所有先验概率乘以相同的正因子不影响分类结果。处理不平衡数据的另一种方法是使用RUSBoost算法(“方法”、“RUSBoost”)．使用该算法时不需要调整先验概率。详情请参见随机欠采样增强而且不平衡数据分类．

如果类在训练数据中得到了充分的表示，但您希望不对称地对待它们，则使用“成本”名称-值对参数。假设您想对癌症患者的良性和恶性肿瘤进行分类。未能识别恶性肿瘤(假阴性)的后果比误将良性肿瘤识别为恶性肿瘤(假阳性)严重得多。把恶性肿瘤误诊为良性的代价很高，把良性肿瘤误诊为恶性的代价很低。

您必须将错误分类代价传递为一个包含非负元素的方阵。元素C (i, j)这个矩阵的其中之一是将一个观察数据分类的代价j如果真正的阶级是我．对角线元素C(我)的代价矩阵0．对于前面的示例，您可以选择恶性肿瘤作为第1类，而选择良性肿瘤作为第2类。然后你可以设置成本矩阵为

在哪里c> 1是误认恶性肿瘤为良性肿瘤的代价。成本是相对的——所有成本乘以相同的积极因素并不影响分类的结果。

如果你只有两门课，fitcensemble调整它们的先验概率使用 ${\tilde{P}}_{我}＝C_{我j}{P}_{我}$为类我= 1, 2而且j≠我．P_我先验概率传入了吗fitcensemble或者从训练数据中的类频率计算，和 $${\tilde{P}}_{我}$$是调整后的先验概率。fitcensemble使用调整后的概率来训练其弱学习者，而不使用成本矩阵。因此，对成本矩阵的操作相当于对先验概率的操作。

如果你有三门或更多的课程，fitcensemble还将投入成本转换为调整后的先验概率。这种转换更加复杂。首先,fitcensemble试图求解周和刘所描述的矩阵方程[1]．如果找不到解决方案，fitcensemble应用Breiman等人描述的“平均成本”调整。[２]．欲了解更多信息，请参阅Zadrozny、Langford和Abe[3]．

选项= weboptions(“ContentType”，“文本”）;肝炎，肝炎肝炎“http://archive.ics.uci.edu/ml/”.．.“machine-learning-databases /肝炎/ hepatitis.data”),选择),.．.“% % % f % f % % % f % f % % % f % f % % % f % f % % % f % f '，“分隔符”，”、“，.．.“EndOfLine”，' \ n '，“TreatAsEmpty”，“?”）;大小(肝炎)

ans =1×21 20

VarNames = {“dieOrLive”“年龄”“性”“类固醇”抗病毒药物的“疲劳”.．.“不舒服”“厌食症”“liverBig”“liverFirm”“脾”.．.“蜘蛛”腹水的“静脉曲张”胆红素的“alkPhosphate”“血清谷”.．.白蛋白的“protime”组织学的};

X = cell2mat(肝炎(2:结束));ClassNames = {“死”“生活”};Y = ClassNames(hepatitis{:，1});

figure barh(sum(isnan(X)，1)/size(X,1)) h = gca;h.YTick = 1:numel(VarNames) - 1;. yticklabel = VarNames(2:end);ylabel (“预测”)包含(“缺失值的百分比”）

rng (0,“旋风”）%用于重现性t = templateTree(“代孕”，“所有”）;

: X (1:5)

ans =5×1930.0000 2.0000 1.0000 2.0000 2.0000 2.0000 2.0000 2.0000 1.0000 80.0 000 18.0000 4.0000南1.000 50.0000 1.000 2.0000 2.0000 2.0000 2.0000 0.9000 135.0000 42.0000 3.5000南1.000 78.0000 1.0000 2.0000 2.0000 2.0000 2.0000 0.7000 90.0 000 32.0000 4.000南1.000 2.0000 2.0000 2.0000 2.0000 2.0000 2.0000 2.0000 2.0000 0.000 0.700046.0000 520.000 4.0000 80.0000 1.000 34.0000 1.000 2.0000 2.0000 2.0000 2.0000 2.0000 2.0000 2.0000 2.0000 1.000南200.0000 4.0000南1.000

catIdx = [2:13,19];

集合= fitcensemble(X,Y，“方法”，“GentleBoost”，.．.“NumLearningCycles”, 50岁,“学习者”t“PredictorNames”VarNames(2:结束),.．.“LearnRate”, 0.1,“CategoricalPredictors”catIdx,“KFold”5);

[yFit,sFit] = kfoldPredict(集合);yFit confusionchart (Y)

成本。ClassNames = ClassNames; cost.ClassificationCosts = [0 5; 1 0];

集合成本= fitcensemble(X,Y，“方法”，“GentleBoost”，.．.“NumLearningCycles”, 50岁,“学习者”t“PredictorNames”VarNames(2:结束),.．.“LearnRate”, 0.1,“CategoricalPredictors”catIdx,“KFold”5,“成本”、成本);[yFitCost,sFitCost] = kfoldPredict(集合成本);yFitCost confusionchart (Y)

另请参阅

fitcensemble|templateTree|kfoldLoss|kfoldPredict|confusionchart

相关的话题

• 代理分裂
• 整体算法
• 测试集成质量
• 不平衡数据分类
• LPBoost和TotalBoost用于小型集成
• 曲调RobustBoost
• 错误分类成本矩阵，先验概率和观察权重