为二元分类问题计算性能指标(FPR和TPR)gydF4y2BarocmetricsgydF4y2Ba对象，绘制ROC曲线gydF4y2Ba情节gydF4y2Ba函数。gydF4y2Ba

加载gydF4y2Ba电离层gydF4y2Ba数据集。该数据集有34个预测因子(gydF4y2BaXgydF4y2Ba)和351个二进制响应(gydF4y2BaYgydF4y2Ba)的雷达回波，或坏(gydF4y2Ba“b”gydF4y2Ba)或好(gydF4y2Ba‘g’gydF4y2Ba)．gydF4y2Ba

负载gydF4y2Ba电离层gydF4y2Ba

将数据划分为训练集和测试集。使用大约80%的观测值来训练支持向量机(SVM)模型，并使用20%的观测值在新数据上测试训练模型的性能。对数据进行分区gydF4y2BacvpartitiongydF4y2Ba．gydF4y2Ba

rng (gydF4y2Ba“默认”gydF4y2Ba）gydF4y2Ba分区的可重复性gydF4y2Bac = cvpartition (Y,坚持= 0.20);trainingIndices =培训(c);gydF4y2Ba训练集的%索引gydF4y2BatestIndices =测试(c);gydF4y2Ba测试集的%索引gydF4y2BaXTrain = X (trainingIndices:);YTrain = Y (trainingIndices);XTest = X (testIndices:);欧美= Y (testIndices);gydF4y2Ba

训练支持向量机分类模型。gydF4y2Ba

Mdl = fitcsvm (XTrain YTrain);gydF4y2Ba

计算测试集的分类分数。gydF4y2Ba

[~,分数]=预测(Mdl XTest);大小(分数)gydF4y2Ba

ans =gydF4y2Ba1×2gydF4y2Ba70 2gydF4y2Ba

输出gydF4y2Ba分数gydF4y2Ba矩阵的大小gydF4y2Ba70gydF4y2Ba——- - - - - -gydF4y2Ba2gydF4y2Ba．的列顺序gydF4y2Ba分数gydF4y2Ba按照类的顺序gydF4y2BaMdlgydF4y2Ba．中存储的类顺序gydF4y2BaMdl。ClassNames．gydF4y2Ba

Mdl。ClassNames

ans =gydF4y2Ba2 x1细胞gydF4y2Ba{b} {' g '}gydF4y2Ba

创建一个gydF4y2BarocmetricsgydF4y2Ba对象的真实标签gydF4y2Ba欧美gydF4y2Ba分类分数在gydF4y2Ba分数gydF4y2Ba．的列顺序gydF4y2Ba分数gydF4y2Ba使用gydF4y2BaMdl。ClassNames．gydF4y2Ba

rocObj = rocmetrics(欧美,分数,Mdl.ClassNames);gydF4y2Ba

rocObjgydF4y2Ba是一个gydF4y2BarocmetricsgydF4y2Ba对象中每个类的AUC值和性能指标gydF4y2BaAUCgydF4y2Ba而且gydF4y2Ba指标gydF4y2Ba属性。显示gydF4y2BaAUCgydF4y2Ba财产。gydF4y2Ba

rocObj。AUCgydF4y2Ba

ans =gydF4y2Ba1×2gydF4y2Ba0.8587 - 0.8587gydF4y2Ba

对于二元分类问题，AUC值是相等的。gydF4y2Ba

的表gydF4y2Ba指标gydF4y2Ba包含两个类的性能度量值，根据类的顺序垂直连接。找到表中第一个类的行，并显示前8行。gydF4y2Ba

idx = strcmp (rocObj.Metrics.ClassName Mdl.ClassNames (1));头(rocObj.Metrics (idx:))gydF4y2Ba

ClassName阈值FalsePositiveRate TruePositiveRate  _________ _________ _________________ ________________ {' b '} 15.545 0 0 0 0.04 15.545 {b} {b} 15.105 0 0.08 11.424 0 0.16 {b} {b} 10.079 0 0.2 {b} 9.9745 0 0.24 {b} 9.9409 0 0 0.32 0.28 9.035 {b}gydF4y2Ba

绘制每个类的ROC曲线gydF4y2Ba情节gydF4y2Ba函数。gydF4y2Ba

情节(rocObj)gydF4y2Ba

对于每个类，gydF4y2Ba情节gydF4y2Ba函数绘制ROC曲线，并在模型工作点处显示一个填充圆标记。图例显示了每条曲线的类名和AUC值。gydF4y2Ba

注意，在二元分类问题中，不需要检查两个类的ROC曲线。两条ROC曲线对称，AUC值相同。一个类别的TPR是另一个类别的真负率(TNR)， TNR是1-FPR。因此，一个职业的TPR vs . FPR图与另一个职业的1-FPR vs . 1-TPR图是相同的。gydF4y2Ba

绘制第一类的ROC曲线仅通过指定gydF4y2Ba一会gydF4y2Ba名称-值参数。gydF4y2Ba

情节(rocObj一会= Mdl.ClassNames (1))gydF4y2Ba

为一个多类分类问题计算性能指标(FPR和TPR)gydF4y2BarocmetricsgydF4y2Ba对象，并绘制每个类的ROC曲线gydF4y2Ba情节gydF4y2Ba函数。指定gydF4y2BaAverageROCTypegydF4y2Ba名称-值参数gydF4y2Ba情节gydF4y2Ba创建多类问题的平均ROC曲线。gydF4y2Ba

加载gydF4y2BafisheririsgydF4y2Ba数据集。矩阵gydF4y2Ba量gydF4y2Ba包含150种不同花朵的花朵尺寸。向量gydF4y2Ba物种gydF4y2Ba列出每种花的种类。gydF4y2Ba物种gydF4y2Ba包含三种不同的花名。gydF4y2Ba

负载gydF4y2BafisheririsgydF4y2Ba

训练一个分类树，将观察结果分类为三个标签中的一个。使用10倍交叉验证交叉验证模型。gydF4y2Ba

rng (gydF4y2Ba“默认”gydF4y2Ba）gydF4y2Ba%的再现性gydF4y2BaMdl = fitctree(量、物种,Crossval =gydF4y2Ba“上”gydF4y2Ba）;gydF4y2Ba

计算验证倍数观察的分类分数。gydF4y2Ba

[~,分数]= kfoldPredict (Mdl);大小(分数)gydF4y2Ba

ans =gydF4y2Ba1×2gydF4y2Ba150年3gydF4y2Ba

输出gydF4y2Ba分数gydF4y2Ba矩阵的大小gydF4y2Ba150gydF4y2Ba——- - - - - -gydF4y2Ba3.gydF4y2Ba．的列顺序gydF4y2Ba分数gydF4y2Ba按照类的顺序gydF4y2BaMdlgydF4y2Ba．中存储的类顺序gydF4y2BaMdl。ClassNames．gydF4y2Ba

Mdl。ClassNames

ans =gydF4y2Ba3 x1细胞gydF4y2Ba{'setosa'} {'versicolor'} {'virginica'}gydF4y2Ba

创建一个gydF4y2BarocmetricsgydF4y2Ba对象的真实标签gydF4y2Ba物种gydF4y2Ba分类分数在gydF4y2Ba分数gydF4y2Ba．的列顺序gydF4y2Ba分数gydF4y2Ba使用gydF4y2BaMdl。ClassNames．gydF4y2Ba

rocObj = rocmetrics(物种,分数,Mdl.ClassNames);gydF4y2Ba

rocObjgydF4y2Ba是一个gydF4y2BarocmetricsgydF4y2Ba对象中每个类的AUC值和性能指标gydF4y2BaAUCgydF4y2Ba而且gydF4y2Ba指标gydF4y2Ba属性。显示gydF4y2BaAUCgydF4y2Ba财产。gydF4y2Ba

rocObj。AUCgydF4y2Ba

ans =gydF4y2Ba1×3gydF4y2Ba1.0000 0.9636 0.9636gydF4y2Ba

的表gydF4y2Ba指标gydF4y2Ba包含所有三个类的性能度量值，根据类的顺序垂直连接。查找并显示表中第二个类的行。gydF4y2Ba

idx = strcmp (rocObj.Metrics.ClassName Mdl.ClassNames (2));rocObj.Metrics (idx:)gydF4y2Ba

ans =gydF4y2Ba13×4表gydF4y2BaClassName阈值false posiicverate trueposiicverate ______________ _________ _________________ ________________ {'versicolor'} 1 0 0 {'versicolor'} 0.95455 0.02 0.8 {'versicolor'} 0.91304 0.03 0.9 {'versicolor'} -0.2 0.04 0.9 {'versicolor'} -0.33333 0.06 0.9 {'versicolor'} -0.86957 0.12 0.92 {'versicolor'} -0.91111 0.16 0.96 {'versicolor'} -0.95238 0.38 0.98 {'versicolor'} -0.95349 0.44 0.98{'versicolor'} -1 1 1gydF4y2Ba

绘制每个类的ROC曲线。指定gydF4y2BaAverageROCType = "微"gydF4y2Ba使用微平均方法计算平均ROC曲线的性能指标。gydF4y2Ba

情节(rocObj AverageROCType =gydF4y2Ba“微观”gydF4y2Ba）gydF4y2Ba

填充的圆标记表示模型操作点。图例显示了每条曲线的类名和AUC值。gydF4y2Ba

对于包含异常值的生成样本，训练隔离林模型并使用gydF4y2BaiforestgydF4y2Ba函数。gydF4y2BaiforestgydF4y2Ba以向量形式返回分数。使用分数创建一个gydF4y2BarocmetricsgydF4y2Ba对象。利用异常值绘制精度-召回率曲线，找出隔离林模型的模型操作点。gydF4y2Ba

使用高斯联结从二元分布中生成随机数据点。gydF4y2Ba

rng (gydF4y2Ba“默认”gydF4y2Barho = [1,0.05;0.05,1];n = 1000;u = copularnd (gydF4y2Ba“高斯”gydF4y2Baρ,n);gydF4y2Ba

在随机选择的观测值中添加5%的噪声，使观测值离群。gydF4y2Ba

噪音= randperm (0.05 * n);true_tf = false (n, 1);true_tf(噪声)= true;u (true_tf 1) = (true_tf 1) * 5;gydF4y2Ba

类训练隔离林模型gydF4y2BaiforestgydF4y2Ba函数。指定训练观察中异常的比例为0.05。gydF4y2Ba

(f, tf,分数)= iforest (u, ContaminationFraction = 0.05);gydF4y2Ba

fgydF4y2Ba是一个gydF4y2BaIsolationForestgydF4y2Ba对象。gydF4y2BaiforestgydF4y2Ba也返回异常指示符(gydF4y2Ba特遣部队gydF4y2Ba)和异常评分(gydF4y2Ba分数gydF4y2Ba)，以浏览训练资料。gydF4y2BaiforestgydF4y2Ba确定阈值(gydF4y2Baf.ScoreThresholdgydF4y2Ba)，使该函数将训练观察值的指定部分检测为异常。gydF4y2Ba

检查性能gydF4y2BaIsolationForestgydF4y2Ba通过绘制精度-召回率曲线，计算曲线下面积(AUC)值，实现了对目标的识别。创建一个gydF4y2BarocmetricsgydF4y2Ba对象，使用真实异常指示器(gydF4y2Batrue_tfgydF4y2Ba)和异常评分(gydF4y2Ba分数gydF4y2Ba)．评分值接近1表示异常，数值也是如此gydF4y2Ba真正的gydF4y2Ba在gydF4y2Batrue_tfgydF4y2Ba．因此，指定类名gydF4y2Ba分数gydF4y2Ba作为gydF4y2Ba真正的gydF4y2Ba．指定gydF4y2BaAdditionalMetricsgydF4y2Ba参数来计算精度值(或正预测值)。gydF4y2Ba

rocObj = rocmetrics (true_tf,分数,真的,AdditionalMetrics =gydF4y2Ba“PositivePredictiveValue”gydF4y2Ba）;gydF4y2Ba

函数绘制曲线gydF4y2Ba情节gydF4y2Ba的函数gydF4y2BarocmetricsgydF4y2Ba．指定gydF4y2BaygydF4y2Ba-轴度量作为精度(或正预测值)和gydF4y2BaxgydF4y2Ba-轴度量为召回率(或真阳性率)。在对应的模型操作点处显示一个填充圆gydF4y2Baf.ScoreThresholdgydF4y2Ba．用梯形法计算精度-召回率曲线下的面积gydF4y2BatrapzgydF4y2Ba函数，并在图例中显示值。gydF4y2Ba

(rocObj YAxisMetric = r =阴谋gydF4y2Ba“PositivePredictiveValue”gydF4y2BaXAxisMetric =gydF4y2Ba“TruePositiveRate”gydF4y2Ba）;持有gydF4y2Ba在gydF4y2Baidx =找到(rocObj.Metrics.Threshold > = f.ScoreThreshold, 1,gydF4y2Ba“最后一次”gydF4y2Ba）;散射(rocObj.Metrics.TruePositiveRate (idx),gydF4y2Ba.．.gydF4y2BarocObj.Metrics.PositivePredictiveValue (idx),gydF4y2Ba.．.gydF4y2Ba[], r。Color,“填充”gydF4y2BaxyData = rmmissing([r.]XData r.YData]);auc = trapz (xyData (: 1), xyData (:, 2));传奇(加入([r。DisplayNamegydF4y2Ba" (auc = "gydF4y2Ba字符串(auc)gydF4y2Ba“)”gydF4y2Ba),gydF4y2Ba＂＂gydF4y2Ba)，gydF4y2Ba“真模型运算点”gydF4y2Ba)包含(gydF4y2Ba“回忆”起gydF4y2Ba) ylabel (gydF4y2Ba“精度”gydF4y2Ba)标题(gydF4y2Ba“Precision-Recall曲线”gydF4y2Ba)举行gydF4y2Ba从gydF4y2Ba

使用bootstrap样本计算固定阈值的FPR和TPR的置信区间，并在ROC曲线上绘制TPR的置信区间gydF4y2Ba情节gydF4y2Ba函数。gydF4y2Ba

加载gydF4y2Ba电离层gydF4y2Ba数据集。该数据集有34个预测因子(gydF4y2BaXgydF4y2Ba)和351个二进制响应(gydF4y2BaYgydF4y2Ba)的雷达回波，或坏(gydF4y2Ba“b”gydF4y2Ba)或好(gydF4y2Ba‘g’gydF4y2Ba)．gydF4y2Ba

负载gydF4y2Ba电离层gydF4y2Ba

将数据划分为训练集和测试集。使用大约80%的观测值来训练支持向量机(SVM)模型，并使用20%的观测值在新数据上测试训练模型的性能。对数据进行分区gydF4y2BacvpartitiongydF4y2Ba．gydF4y2Ba

rng (gydF4y2Ba“默认”gydF4y2Ba）gydF4y2Ba分区的可重复性gydF4y2Bac = cvpartition (Y,坚持= 0.20);trainingIndices =培训(c);gydF4y2Ba训练集的%索引gydF4y2BatestIndices =测试(c);gydF4y2Ba测试集的%索引gydF4y2BaXTrain = X (trainingIndices:);YTrain = Y (trainingIndices);XTest = X (testIndices:);欧美= Y (testIndices);gydF4y2Ba

训练支持向量机分类模型。gydF4y2Ba

Mdl = fitcsvm (XTrain YTrain);gydF4y2Ba

计算测试集的分类分数。gydF4y2Ba

[~,分数]=预测(Mdl XTest);gydF4y2Ba

创建一个gydF4y2BarocmetricsgydF4y2Ba对象的真实标签gydF4y2Ba欧美gydF4y2Ba分类分数在gydF4y2Ba分数gydF4y2Ba．的列顺序gydF4y2Ba分数gydF4y2Ba使用gydF4y2BaMdl。ClassNames．指定gydF4y2BaNumBootstrapsgydF4y2Ba作为100，使用100个引导样本来计算置信区间。gydF4y2Ba

rocObj = rocmetrics(欧美,分数,Mdl。一会,gydF4y2Ba.．.gydF4y2BaNumBootstraps = 100);gydF4y2Ba

类的表中找到第二个类的行gydF4y2Ba指标gydF4y2Ba属性，并显示前8行。gydF4y2Ba

idx = strcmp (rocObj.Metrics.ClassName Mdl.ClassNames (2));头(rocObj.Metrics (idx:))gydF4y2Ba

ClassName阈值FalsePositiveRate TruePositiveRate  _________ _________ __________________________ ________________________________ {' 0 0 0 0 0 0 7.196 g’}{‘g’}7.196 0 0 0 0 0.022222 0.093023{‘g’}6.2583 0 0 0 0.044444 0.11969{‘g’}5.5719 0 0 0 0.066667 0.020988 0.16024 5.5643{‘g’}0 0 0 0.088889 0.022635 0.18805 5.4618 - 0.04{‘g’}0 0.22222 0.088889 0.022635 0.18805{‘g’}5.3667 - 0.08 0 0.28 0.088889 0.022635 0.18805{‘g’}0 0.28 0.11111 0.045035 - 0.19532 5.1525 - 0.08gydF4y2Ba

表的每一行都包含一个固定阈值的度量值及其FPR和TPR的置信区间。的gydF4y2Ba阈值gydF4y2Ba变量是列向量，而gydF4y2BaFalsePositiveRategydF4y2Ba而且gydF4y2BaTruePositiveRategydF4y2Ba变量是三列矩阵。矩阵的第一列对应度量值，第二列和第三列分别对应下界和上界。gydF4y2Ba

绘制ROC曲线和TPR的置信区间。指定gydF4y2BaShowConfidenceIntervals = truegydF4y2Ba方法来显示置信区间，并指定一个要绘制的类gydF4y2Ba一会gydF4y2Ba名称-值参数。gydF4y2Ba

情节(rocObj ShowConfidenceIntervals = true,一会= Mdl.ClassNames (2))gydF4y2Ba

ROC曲线周围的阴影区域表示置信区间。置信区间表示由于训练模型的测试集的方差而导致的曲线的不确定性。gydF4y2Ba

使用交叉验证的数据计算固定阈值的FPR和TPR的置信区间，并在ROC曲线上绘制TPR的置信区间gydF4y2Ba情节gydF4y2Ba函数。gydF4y2Ba

加载gydF4y2BafisheririsgydF4y2Ba数据集。矩阵gydF4y2Ba量gydF4y2Ba包含150种不同花朵的花朵尺寸。向量gydF4y2Ba物种gydF4y2Ba列出每种花的种类。gydF4y2Ba物种gydF4y2Ba包含三种不同的花名。gydF4y2Ba

负载gydF4y2BafisheririsgydF4y2Ba

训练一个朴素贝叶斯模型，将观察结果分类为三个标签中的一个。使用10倍交叉验证交叉验证模型。gydF4y2Ba

rng (gydF4y2Ba“默认”gydF4y2Ba）gydF4y2Ba%的再现性gydF4y2BaMdl = fitcnb(量、物种,Crossval =gydF4y2Ba“上”gydF4y2Ba）;gydF4y2Ba

计算验证倍数观察的分类分数。gydF4y2Ba

[~,分数]= kfoldPredict (Mdl);gydF4y2Ba

将交叉验证的分数和相应的true标签存储在单元格数组中，以便单元格数组中的每个元素对应一个验证折叠。gydF4y2Ba

简历= Mdl.Partition;numTestSets = cv.NumTestSets;cvLabels =细胞(numTestSets, 1);cvScores =细胞(numTestSets, 1);gydF4y2Ba为gydF4y2Bai = 1:numTestSets testdx = test(cv,i);cvLabels{我}=物种(testIdx);cvScores{我}=分数(testIdx:);gydF4y2Ba结束gydF4y2Ba

创建一个gydF4y2BarocmetricsgydF4y2Ba对象使用单元格数组。如果使用单元格数组指定标签和分数为真，gydF4y2BarocmetricsgydF4y2Ba计算置信区间。gydF4y2Ba

rocObj = rocmetrics (cvLabels cvScores Mdl.ClassNames);gydF4y2Ba

绘制ROC曲线和TPR的置信区间。指定gydF4y2BaShowConfidenceIntervals = truegydF4y2Ba来显示置信区间。gydF4y2Ba

情节(rocObj ShowConfidenceIntervals = true)gydF4y2Ba

每条曲线周围的阴影区域表示置信区间。的置信区间的宽度gydF4y2BasetosagydF4y2Ba是否为0表示非零假阳性率，因此图中没有为的阴影区域gydF4y2BasetosagydF4y2Ba．置信区间反映了模型中由于训练集和测试集的方差而产生的不确定性。gydF4y2Ba

训练三种不同的分类模型:决策树模型、广义加性模型和朴素贝叶斯模型。使用ROC曲线和AUC值在测试数据集上比较三种模型的性能。gydF4y2Ba

加载存储在中的1994年人口普查数据gydF4y2Bacensus1994gydF4y2Ba.matgydF4y2Ba．该数据集由来自美国人口普查局的人口统计数据组成，用来预测一个人的年收入是否超过5万美元。gydF4y2Ba

负载gydF4y2Bacensus1994gydF4y2Ba

census1994gydF4y2Ba包含训练数据集gydF4y2BaadultdatagydF4y2Ba和测试数据集gydF4y2Ba成人gydF4y2Ba．显示响应变量中的唯一值gydF4y2Ba工资gydF4y2Ba．gydF4y2Ba

一会=独特(adultdata.salary)gydF4y2Ba

一会=gydF4y2Ba2 x1分类gydF4y2Ba< = 50 k > 50 kgydF4y2Ba

通过传递训练数据来训练三个模型gydF4y2BaadultdatagydF4y2Ba并指定响应变量名gydF4y2Ba“工资”gydF4y2Ba．方法指定类的顺序gydF4y2Ba一会gydF4y2Ba名称-值参数。gydF4y2Ba

MdlTree = fitctree (adultdata,gydF4y2Ba“工资”gydF4y2Ba=类名、类名);MdlGAM = fitcgam (adultdata,gydF4y2Ba“工资”gydF4y2Ba=类名、类名);MdlNB = fitcnb (adultdata,gydF4y2Ba“工资”gydF4y2Ba=类名、类名);gydF4y2Ba

计算测试数据集的分类分数gydF4y2Ba成人gydF4y2Ba使用训练过的模型。gydF4y2Ba

[~, ScoresTree] =预测(MdlTree,成人);[~, ScoresGAM] =预测(MdlGAM,成人);[~, ScoresNB] =预测(MdlNB,成人);gydF4y2Ba

创建一个gydF4y2BarocmetricsgydF4y2Ba对象。gydF4y2Ba

rocTree = rocmetrics (adulttest.salary ScoresTree,类名);rocGAM = rocmetrics (adulttest.salary ScoresGAM,类名);rocNB = rocmetrics (adulttest.salary ScoresNB,类名);gydF4y2Ba

绘制每个模型的ROC曲线。默认情况下,gydF4y2Ba情节gydF4y2Ba函数显示图例中的类名和AUC值。要在图例中包括模型名而不是类名，请修改gydF4y2BaDisplayNamegydF4y2Ba财产的gydF4y2BaROCCurvegydF4y2Ba对象返回的gydF4y2Ba情节gydF4y2Ba函数。gydF4y2Ba

图c = cell(3,1);g =细胞(3,1);(g c{1},{1}] =情节((1)rocTree,一会=类名);持有gydF4y2Ba在gydF4y2Bag (c{2},{2}] =情节((1)rocGAM,一会=类名);(g c{3},{3}] =情节((1)rocNB,一会=类名);modelNames = [gydF4y2Ba“决策树模型”gydF4y2Ba，gydF4y2Ba.．.gydF4y2Ba“广义相加模型”gydF4y2Ba，gydF4y2Ba“朴素贝叶斯模型”gydF4y2Ba];gydF4y2Ba为gydF4y2BaI = 1: 3 c{I}。DisplayName＝replace(c{i}.DisplayName,.．.gydF4y2Ba(1)字符串(类名),modelNames (i));g{我}(1)。DisplayName =加入([modelNames(我),gydF4y2Ba“操作点”gydF4y2Ba]);gydF4y2Ba结束gydF4y2Ba持有gydF4y2Ba从gydF4y2Ba

广义加性模型(gydF4y2BaMdlGAMgydF4y2Ba)的AUC值最高，决策树模型(gydF4y2BaMdlTreegydF4y2Ba)最低。这个结果表明gydF4y2BaMdlGAMgydF4y2Ba测试数据集的平均性能优于gydF4y2BaMdlTreegydF4y2Ba而且gydF4y2BaMdlNBgydF4y2Ba．gydF4y2Ba

找出二元分类模型的模型工作点和最优工作点。使用与最佳工作点相对应的新阈值对测试数据集中的观察数据进行分类。gydF4y2Ba

加载gydF4y2Ba电离层gydF4y2Ba数据集。该数据集有34个预测因子(gydF4y2BaXgydF4y2Ba)和351个二进制响应(gydF4y2BaYgydF4y2Ba)的雷达回波，或坏(gydF4y2BabgydF4y2Ba)或好(gydF4y2BaggydF4y2Ba)．gydF4y2Ba

负载gydF4y2Ba电离层gydF4y2Ba

将数据划分为训练集和测试集。使用大约75%的观测值来训练支持向量机(SVM)模型，并使用25%的观测值在新数据上测试训练模型的性能。对数据进行分区gydF4y2BacvpartitiongydF4y2Ba．gydF4y2Ba

rng (gydF4y2Ba“默认”gydF4y2Ba）gydF4y2Ba分区的可重复性gydF4y2Bac = cvpartition (Y,坚持= 0.25);trainingIndices =培训(c);gydF4y2Ba训练集的%索引gydF4y2BatestIndices =测试(c);gydF4y2Ba测试集的%索引gydF4y2BaXTrain = X (trainingIndices:);YTrain = Y (trainingIndices);XTest = X (testIndices:);欧美= Y (testIndices);gydF4y2Ba

训练支持向量机分类模型。gydF4y2Ba

Mdl = fitcsvm (XTrain YTrain);gydF4y2Ba

中存储的类顺序gydF4y2BaMdl。ClassNames．gydF4y2Ba

Mdl。ClassNames

ans =gydF4y2Ba2 x1细胞gydF4y2Ba{b} {' g '}gydF4y2Ba

计算测试集的分类分数。gydF4y2Ba

(日元分数)=预测(Mdl XTest);gydF4y2Ba

创建一个gydF4y2BarocmetricsgydF4y2Ba对象的真实标签gydF4y2Ba欧美gydF4y2Ba分类分数在gydF4y2Ba分数gydF4y2Ba．的列顺序gydF4y2Ba分数gydF4y2Ba使用gydF4y2BaMdl。ClassNames．gydF4y2Ba

rocObj = rocmetrics(欧美,分数,Mdl.ClassNames);gydF4y2Ba

找到模型的操作点gydF4y2Ba指标gydF4y2Ba的属性gydF4y2BarocObjgydF4y2Ba为类gydF4y2BabgydF4y2Ba．的gydF4y2Ba预测gydF4y2Ba函数将一个观察结果分类到产生较大分数的类中，该类对应于具有非负调整分数的类。方法使用的典型阈值gydF4y2Ba预测gydF4y2Ba函数是0。在一排排的gydF4y2Ba指标gydF4y2Ba的属性gydF4y2BarocObjgydF4y2Ba为类gydF4y2BabgydF4y2Ba，求非负阈值最小的点。曲线上的点表示与阈值0的性能相同。gydF4y2Ba

idx_b = strcmp (rocObj.Metrics.ClassName,gydF4y2Ba“b”gydF4y2Ba）;X = rocObj.Metrics (idx_b:) .FalsePositiveRate;: Y = rocObj.Metrics (idx_b) .TruePositiveRate;T = rocObj.Metrics (idx_b:) .Threshold;idx_model =找到(T > = 0, 1,gydF4y2Ba“最后一次”gydF4y2Ba）;modelpt = [T(idx_model) X(idx_model) Y(idx_model)]gydF4y2Ba

modelpt =gydF4y2Ba1×3gydF4y2Ba1.2640 0.0179 0.5806gydF4y2Ba

对于二元分类，使平均误分类代价最小的最佳操作点是ROC曲线与斜率直线相交的点gydF4y2Ba $$\mathrm{米gydF4y2Ba}$$,在那里gydF4y2Ba $$\mathrm{米gydF4y2Ba}$$被定义为gydF4y2Ba

$\mathit{米gydF4y2Ba}＝gydF4y2Ba\frac{\mathrm{成本gydF4y2Ba}（gydF4y2Ba\mathit{PgydF4y2Ba}|gydF4y2Ba\mathit{NgydF4y2Ba}）gydF4y2Ba-gydF4y2Ba\mathrm{成本gydF4y2Ba}（gydF4y2Ba\mathit{NgydF4y2Ba}|gydF4y2Ba\mathit{NgydF4y2Ba}）gydF4y2Ba}{\mathrm{成本gydF4y2Ba}（gydF4y2Ba\mathit{NgydF4y2Ba}|gydF4y2Ba\mathit{PgydF4y2Ba}）gydF4y2Ba-gydF4y2Ba\mathrm{成本gydF4y2Ba}（gydF4y2Ba\mathit{PgydF4y2Ba}|gydF4y2Ba\mathit{PgydF4y2Ba}）gydF4y2Ba}\cdot gydF4y2Ba\frac{\mathit{ngydF4y2Ba}}{\mathit{pgydF4y2Ba}}$．gydF4y2Ba

$$\mathrm{pgydF4y2Ba}$$在正类中的观察总数，和gydF4y2Ba $$\mathrm{ngydF4y2Ba}$$是负类的观察总数。的gydF4y2Ba成本gydF4y2Ba价值是成本矩阵的组成部分gydF4y2Ba $$\mathrm{CgydF4y2Ba}$$：gydF4y2Ba

成本(N | P)gydF4y2Ba把一个积极的类错误地分类为消极的类的代价是什么gydF4y2Ba成本(P | N)gydF4y2Ba就是把消极类错误地分类为积极类的代价。按班级顺序在gydF4y2BaMdl。ClassNames，积极的阶级gydF4y2BaPgydF4y2Ba对应的类gydF4y2BabgydF4y2Ba．gydF4y2Ba

ROC曲线上与斜率直线相交的点gydF4y2Ba $$\mathrm{米gydF4y2Ba}$$，选择一个最接近完美的分类器点(gydF4y2Ba玻璃钢= 0gydF4y2Ba，gydF4y2BaTPR = 1gydF4y2Ba)，完美的ROC曲线通过。gydF4y2Ba

找到正类的最佳操作点gydF4y2BabgydF4y2Ba．gydF4y2Ba

p =总和(strcmp(欧美,gydF4y2Ba“b”gydF4y2Ba));n =总和(~ strcmp(欧美,gydF4y2Ba“b”gydF4y2Ba));成本= Mdl.Cost;m =(成本(2,1)成本(2,2))/(成本(1、2)成本(1,1))* n / p;[~，idx_opt] = min(X - Y/m);optpt = [T(idx_opt) X(idx_opt) Y(idx_opt)]gydF4y2Ba

optpt =gydF4y2Ba1×3gydF4y2Ba-1.1978 0.1071 0.7742gydF4y2Ba

绘制班级的ROC曲线gydF4y2BabgydF4y2Ba通过使用gydF4y2Ba情节gydF4y2Ba函数，并显示最优工作点gydF4y2Ba散射gydF4y2Ba函数。gydF4y2Ba

图r = plot(rocObj,ClassNames= .gydF4y2Ba“b”gydF4y2Ba）;持有gydF4y2Ba在gydF4y2Ba散射(optpt (2), optpt (3),gydF4y2Ba“填充”gydF4y2Ba，gydF4y2Ba.．.gydF4y2BaDisplayName =gydF4y2Ba“b最佳工作点”gydF4y2Ba）;gydF4y2Ba

显示模型工作点和最佳工作点。gydF4y2Ba

array2table ([modelpt; optpt),gydF4y2Ba.．.gydF4y2BaRowNames = [gydF4y2Ba“模型操作点”gydF4y2Ba“最优操作点”gydF4y2Ba),gydF4y2Ba.．.gydF4y2BaVariableNames = [gydF4y2Ba“阈值”gydF4y2Ba“FalsePositiveRate”gydF4y2Ba“TruePositiveRate”gydF4y2Ba])gydF4y2Ba

ans =gydF4y2Ba2×3表gydF4y2Ba阈值false posiverate true posiverate _________ _________________ ________________模型工作点1.264 0.017857 0.58065最优工作点-1.1978 0.10714 0.77419gydF4y2Ba

分类gydF4y2BaXTestgydF4y2Ba使用最佳操作点。将调整后的评分大于或等于最佳阈值的观察值分配给阳性类gydF4y2BabgydF4y2Ba．gydF4y2Ba

s = Scores(:，1) - Scores(:，2);Idx_b_opt = (s >= optpt(1));Y2 =细胞(大小(欧美));Y2 (idx_b_opt) = {gydF4y2Ba“b”gydF4y2Ba};Y2 (~ idx_b_opt) = {gydF4y2Ba‘g’gydF4y2Ba};gydF4y2Ba

显示中有不同标签的观测值的调整分数gydF4y2Ba日元gydF4y2Ba(标签gydF4y2Ba预测gydF4y2Ba功能),gydF4y2BaY2gydF4y2Ba(从最优阈值进行标记gydF4y2Baoptpt (1)gydF4y2Ba)．gydF4y2Ba

(~比较字符串(Y1, Y2))gydF4y2Ba

ans =gydF4y2Ba11×1gydF4y2Ba-1.1704 -0.8441 -0.8237 -0.4545 -1.0720 -0.4618 -0.2189 -1.1978 -1.0113 -1.1550gydF4y2Ba

11个观察的调整分数低于gydF4y2Ba0gydF4y2Ba但大于或等于最佳阈值。gydF4y2Ba

训练一个多类分类问题的模型之后，创建一个gydF4y2BarocmetricsgydF4y2Ba对象仅用于感兴趣的类。指定gydF4y2BaFixedMetricValuesgydF4y2Ba这gydF4y2BarocmetricsgydF4y2Ba计算指定阈值的性能指标。gydF4y2Ba

阅读示例文件gydF4y2BaCreditRating_Historical.datgydF4y2Ba一个表中。预测数据包括企业客户列表的财务比率和行业部门信息。响应变量由评级机构指定的信用评级组成。预览数据集的前几行。gydF4y2Ba

creditrating = readtable (gydF4y2Ba“CreditRating_Historical.dat”gydF4y2Ba）;头(creditrating)gydF4y2Ba

ID WC_TA RE_TA EBIT_TA MVE_BVTD S_TA行业评级  _____ ______ ______ _______ ________ _____ ________ _______ 62394 0.013 0.104 0.036 0.447 0.142 3{“BB”}48608 0.232 0.335 0.062 1.969 0.281 8 {A} 42444 0.311 0.367 0.074 1.935 0.366 1 {A} 48631 0.194 0.263 0.062 1.017 0.228 - 4 {BBB的}43768 0.121 0.413 0.057 3.647 0.466 12 {' AAA '} 39255 -0.117 -0.799 0.01 0.179 0.082 - 4{“CCC”}62236 0.087 0.158 0.049 0.816 0.324 - 2 {BBB的}39354 0.005 0.181 0.034 2.597 0.388 7{“AA”}gydF4y2Ba

因为每一个值gydF4y2BaIDgydF4y2Ba变量是唯一的客户ID，即gydF4y2Ba长度(独特(creditrating.ID))gydF4y2Ba等于观察的次数gydF4y2BacreditratinggydF4y2Ba,gydF4y2BaIDgydF4y2Ba变量是一个糟糕的预测。删除gydF4y2BaIDgydF4y2Ba变量，并将gydF4y2Ba行业gydF4y2Ba变量,gydF4y2Ba分类gydF4y2Ba变量。gydF4y2Ba

creditrating = removevars (creditrating,gydF4y2Ba“ID”gydF4y2Ba）;creditrating。行业＝分类（creditrating。行业）;gydF4y2Ba

将数据划分为训练集和测试集。使用大约80%的观察值来训练神经网络模型，使用20%的观察值来测试训练模型在新数据上的性能。对数据进行分区gydF4y2BacvpartitiongydF4y2Ba．gydF4y2Ba

rng (gydF4y2Ba“默认”gydF4y2Ba）gydF4y2Ba分区的可重复性gydF4y2Bac = cvpartition (creditrating。评级,gydF4y2Ba“坚持”gydF4y2Ba, 0.20);trainingIndices =培训(c);gydF4y2Ba训练集的%索引gydF4y2BatestIndices =测试(c);gydF4y2Ba测试集的%索引gydF4y2BacreditTrain = creditrating (trainingIndices:);信贷= creditrating (testIndices:);gydF4y2Ba

通过传递训练数据来训练神经网络分类器gydF4y2BacreditTraingydF4y2Ba到gydF4y2BafitcnetgydF4y2Ba函数。gydF4y2Ba

Mdl = fitcnet (creditTrain,gydF4y2Ba“评级”gydF4y2Ba）;gydF4y2Ba

计算分类分数并预测测试集观察值的信用评级。gydF4y2Ba

(标签、分数)=预测(Mdl信贷);gydF4y2Ba

神经网络分类器的分类分数对应后验概率。gydF4y2Ba

假设您只想为评级而评估模型gydF4y2BaBgydF4y2Ba，gydF4y2BaBBgydF4y2Ba,gydF4y2BaBBBgydF4y2Ba，并忽略其余的评级。gydF4y2Ba

控件中存储的模型中的评级顺序gydF4y2Ba一会gydF4y2Ba属性，并标识要求值的类。gydF4y2Ba

Mdl。ClassNames

ans =gydF4y2Ba7 x1细胞gydF4y2Ba{A}{“AA”}{' AAA '} {B}{“BB”}{BBB的}{“CCC”}gydF4y2Ba

idx_Class = [4 5 6];classesToEvaluate = Mdl.ClassNames (idx_Class);gydF4y2Ba

找出三个类的观察值的索引(gydF4y2BaBgydF4y2Ba，gydF4y2BaBBgydF4y2Ba，gydF4y2BaBBBgydF4y2Ba)．gydF4y2Ba

idx = ismember (creditTest.Rating classesToEvaluate);gydF4y2Ba

创建一个gydF4y2BarocmetricsgydF4y2Ba对象使用三个类的真实标签和分数。指定gydF4y2BaFixedMetricValues = 1: -0.25: 1gydF4y2Ba这gydF4y2BarocmetricsgydF4y2Ba计算指定阈值的性能指标。gydF4y2Ba

阈值= 1:-0.25:1;rocObj = rocmetrics (creditTest.Rating (idx),分数(idx idx_Class),gydF4y2Ba.．.gydF4y2BaclassesToEvaluate FixedMetricValues =阈值);gydF4y2Ba

控件中存储的计算指标gydF4y2Ba指标gydF4y2Ba财产。gydF4y2Ba

rocObj。指标gydF4y2Ba

ans =gydF4y2Ba27×4表gydF4y2BaClassName阈值FalsePositiveRate TruePositiveRate _________ _________ _________________ ________________ {'B'} 0.90791 00 {'B'} 0.79653 0 0.10938 {'B'} 0.51646 0.010309 0.3125 {'B'} 0.26218 0.020619 0.42188 {'B'} 0.0050218 0.048969 0.57812 {'B'} 0.0050218 0.020632 0.10567 0.6875 {'B'} -0.24632 0.10567 0.6875 {'B'} -0.49531 0.1701 0.76562 {'B'} -0.7495 0.5232 0.85938 {'B'} 0.95629 00 {'BB'} 0.50145 0.10112 0.44865 {'BB'} 0.25367 0.14981 0.61081 {'BB'} 0.0013125 0.232210．75135 {'BB'} -0.24929 0.34457 0.86486 {'BB'} -0.49761 0.48315 0.93514 ⋮

的gydF4y2Ba指标gydF4y2Ba属性包含三个评级的性能指标gydF4y2BaBgydF4y2Ba，gydF4y2BaBBgydF4y2Ba,gydF4y2BaBBBgydF4y2Ba和指定的阈值。默认的gydF4y2BaUseNearestNeighborgydF4y2Ba值是gydF4y2Ba真正的gydF4y2Ba如果gydF4y2BarocmetricsgydF4y2Ba不计算置信区间。因此，对于每个指定的阈值，gydF4y2BarocmetricsgydF4y2Ba选择与指定值最接近的调整后的分数值作为阈值。显示指定的阈值和每个类使用的实际阈值。gydF4y2Ba

idx_B = strcmp (rocObj.Metrics.ClassName,gydF4y2Ba“B”gydF4y2Ba）;idx_BB = strcmp (rocObj.Metrics.ClassName,gydF4y2Ba“BB”gydF4y2Ba）;idx_BBB = strcmp (rocObj.Metrics.ClassName,gydF4y2Ba" BBB "gydF4y2Ba）;表(阈值”,rocObj.Metrics.Threshold (idx_B),gydF4y2Ba.．.gydF4y2BarocObj.Metrics.Threshold (idx_BB),gydF4y2Ba.．.gydF4y2BarocObj.Metrics.Threshold (idx_BBB),gydF4y2Ba.．.gydF4y2BaVariableNames = [gydF4y2Ba“固定阈值”gydF4y2Ba;字符串(classesToEvaluate)])gydF4y2Ba

ans =gydF4y2Ba9×4表gydF4y2Ba固定阈值BBB BBB _______________ _________ _________ ________ 1 0.90791 0.95629 0.93627 0.75 0.79653 0.75876 0.75 7576 0.5 0.51646 0.50145 0.50054 0.25 0.26178 0.25367 0.26181 0 0.0050218 0.0013125 0.028665 -0.25 -0.24632 -0.24929 -0.24645 -0.5 -0.49531 -0.49761 -0.49942 -0.75 -0.7495 -0.74873 -0.74982 -1 -0.97041 -0.93627 -0.96758gydF4y2Ba