semanticseg
基于深度学习的语义图像分割
语法
描述
pxds= semanticseg (ds，网络）ds，一个数据存储对象。
该函数支持使用多个MATLAB并行计算®工人。方法启用并行计算计算机视觉工具箱参数设置对话框。
［___= semanticseg(___，返回带有由一个或多个名-值对参数指定的附加选项的语义分割。名称,值）
例子
语义图像分割
在图像上叠加分割结果并显示结果。
加载一个预先训练好的网络。
数据=负载(“triangleSegmentationNetwork”）;Net = data.net
net = SeriesNetwork with properties: Layers: [10x1 nnet.cnn.layer.Layer] InputNames: {'imageinput'} OutputNames: {'classoutput'}
列出网络层。
网layers
ans = 10x1带有图层的图层数组:1“imageinput”图像输入32 x32x1图像“zerocenter”正常化2 conv_1二维卷积64 3 x3x1旋转步[1]和填充[1 1 1 1]3‘relu_1 ReLU ReLU 4“maxpool”二维最大池2 x2马克斯池步(2 - 2)和填充[0 0 0 0]64 3 x3x64 conv_2的二维卷积运算与步幅[1]和填充[1 1 1 1]6‘relu_2 ReLU ReLU 7 transposed-conv二维卷积转置64 4 x4x64转置运算与步幅2[2]和裁剪[1 1 1 1]8 'conv_3' 2-D Convolution 2 1x1x64 convolutions with stride [1 1] and padding [0 0 0 0] 9 'softmax' Softmax softmax 10 'classoutput' Pixel Classification Layer Class weighted cross-entropy loss with classes 'triangle' and 'background'
读取并显示测试图像。
I = imread(“triangleTest.jpg”）;图imshow(我)
进行语义图像分割。
[C，分数]= semanticseg(I,net，“MiniBatchSize”、32);
在图像上叠加分割结果并显示结果。
B = labeloverlay(I, C);图imshow (B)
显示分类分数。
图imagesc(分数)轴广场colorbar
创建一个只有三角形的二进制蒙版。
Bw = c ==“三角形”；图imshow (BW)
评估语义分割测试集
在一组测试图像上运行语义分割，并将结果与真实数据进行比较。
加载一个预先训练好的网络。
数据=负载(“triangleSegmentationNetwork”）;Net = data.net;
使用负载测试图像imageDatastore．
dataDir = fullfile(toolboxdir(“愿景”)，“visiondata”，“triangleImages”）;testImageDir = fullfile(dataDir，“testImages”）;imds = imageDatastore(testImageDir)
imds = ImageDatastore属性:Files:{'…/toolbox/vision/visiondata/triangleImages/testImages/image_001.jpg';’……/工具箱/视觉/ visiondata / triangleImages / testImages / image_002.jpg”;/toolbox/vision/visiondata/triangleImages/testImages/image_003.jpg和97个}文件夹:{'…/build/matlab/toolbox/vision/visiondata/triangleImages/testImages'} AlternateFileSystemRoots: {} ReadSize: 1 Labels: {} SupportedOutputFormats: ["png" "jpg" "jpeg" "tif" "tiff"] DefaultOutputFormat: "png" ReadFcn: @readDatastoreImage
加载地面真相测试标签。
testLabelDir = fullfile(dataDir，“testLabels”）;classNames = [“三角形”“背景”];pixelLabelID = [255 0];pxdsTruth = pixelLabelDatastore(testLabelDir,classNames,pixelLabelID);
在所有测试图像上运行语义分割，批量大小为4。可以根据系统内存资源增加批处理大小以增加吞吐量。
pxdsResults = semanticseg(imds,net，“MiniBatchSize”4“WriteLocation”, tempdir);
运行的语义分割网络 ------------------------------------- * 100张图片处理。
将结果与实际情况进行比较。
metrics = evaluateSemanticSegmentation(pxdsResults,pxdsTruth)
评估语义分割结果---------------------------------------- *选择的指标:全局精度，类别精度，IoU，加权IoU, BF分数。*处理了100张图像。*完成……完成了。*数据集指标:GlobalAccuracy MeanAccuracy MeanIoU WeightedIoU MeanBFScore ______________ ____________ _______ ___________ ___________ 0.90624 0.95085 0.61588 0.87529 0.40652
metrics = semanticSegmentationMetrics with properties: ConfusionMatrix: [2x2 table] NormalizedConfusionMatrix: [2x2 table] DataSetMetrics: [1x5 table] ClassMetrics: [2x3 table] ImageMetrics: [100x5 table]
定义具有特沃斯基损失的自定义像素分类层
这个例子展示了如何定义和创建一个使用Tversky损失的自定义像素分类层。
该层可用于训练语义分割网络。要了解有关创建自定义深度学习层的详细信息，请参见定义自定义深度学习层(深度学习工具箱)．
特沃斯基损失
Tversky损失是基于Tversky指数来测量两个分割图像之间的重叠[1］．特沃斯基指数 在一个图像之间 和相应的基本真理 是由
对应于类和 相当于没去上课 ．
的前两个维度上的元素个数是多少 ．
而且 是控制每个类别的假阳性和假阴性对损失的贡献的加权因素。
损失 除以课程的数量 是由
分类层模板
将分类层模板复制到MATLAB®的新文件中。该模板概述了分类层的结构，并包括定义层行为的函数。示例的其余部分显示如何完成tverskyPixelClassificationLayer．
classdeftverskyPixelClassificationLayer < nnet.layer.ClassificationLayer . tverskyPixelClassificationLayer属性%可选属性结束方法函数损失(层，Y, T)%层正向损失函数在这里结束结束结束
声明图层属性
默认情况下，自定义输出层具有以下属性:
的名字-层名，指定为字符向量或字符串标量。要在图层图中包含此图层，必须指定一个非空的惟一层名。如果你用这个层训练一个系列网络的名字设置为”，然后软件在训练时自动分配一个名字。描述-层的单行描述，指定为字符向量或字符串标量。控件中显示该层时，将显示此描述层数组中。如果您没有指定层描述，那么软件将显示层类名称。类型-层的类型，指定为字符向量或字符串标量。的价值类型控件中显示该层时显示层数组中。如果您没有指定层类型，那么软件将显示“分类层”或“回归层”．
自定义分类层还具有以下属性:
类-输出层的类，指定为分类向量、字符串数组、字符向量的单元格数组或“汽车”．如果类是“汽车”，然后软件在训练时间自动设置课程。如果指定字符向量的字符串数组或单元格数组str，则软件将输出层的类设置为分类(str, str)．默认值为“汽车”．
如果该层没有其他属性，则可以省略属性部分。
特沃斯基损失需要一个小的常数值来防止被零除。指定属性，ε，以保持该值。它还需要两个变量属性Alpha而且β分别控制假阳性和假阴性的权重。
classdeftverskyPixelClassificationLayer < nnet.layer.ClassificationLayer . tverskyPixelClassificationLayer属性(常量)%用于防止除零的小常数。= 1e-8;结束属性%假阳性和假阴性的默认权重系数Alpha = 0.5;Beta = 0.5;结束.．.结束
创建构造函数
创建构造层和初始化层属性的函数。指定创建该层所需的任何变量作为构造函数的输入。
属性的可选输入参数名的名字属性在创建时。
函数层= tverskyPixelClassificationLayer(名称，alpha, beta)% layer = tverskyPixelClassificationLayer(name)创建一个Tversky使用指定名称的%像素分类层。设置层名层。的名字＝name;设置图层属性层。Alpha = Alpha;层。β＝beta;设置层描述层。Description =“特沃斯基损失”；结束
创建正向损失函数
创建一个名为forwardLoss这将返回由网络做出的预测和训练目标之间的加权交叉熵损失。的语法forwardLoss是损失(层，Y,T),在那里Y是前一层的输出和T表示培训目标。
对于语义分割问题，的维数T尺寸匹配Y,在那里Y4-D数组的大小H——- - - - - -W——- - - - - -K——- - - - - -N,在那里K是班级的数量，和N是小批大小。
的大小Y取决于前一层的输出。为了确保Y尺寸和T，必须在输出层之前包含一个输出正确大小的层。例如，确保Y是预测分数的4-D数组K类，可以包含大小完全连接的层K或者卷积层K在输出层之前，使用一个softmax层进行过滤。
函数损失(层，Y, T)% loss = forwardLoss(layer, Y, T)返回之间的Tversky损失预测Y和训练目标T。Pcnot = 1-Y;Gcnot = 1-T;TP = sum(sum(y *T,1)，2);FP = sum(sum(Y.*Gcnot,1)，2);FN = sum(sum(Pcnot.*T,1)，2);number = TP + layer.Epsilon;denom = TP +层。Alpha*FP +层。β*FN + layer.Epsilon;计算特沃斯基指数lossTIc = 1 - number ./denom;lossTI = sum(lossTIc,3);返回平均特沃斯基指数损失N = size(Y,4);损失= sum(lossTI)/N;结束
反向损失函数
随着forwardLoss函数完全支持自动微分，不需要为反向损失创建函数。
有关支持自动微分的函数列表，请参见支持dlarray的函数列表(深度学习工具箱)．
完成一层
中提供了完整的层tverskyPixelClassificationLayer.m．
classdeftverskyPixelClassificationLayer < nnet.layer.ClassificationLayer . tverskyPixelClassificationLayer这一层实现了用于训练的Tversky损失函数%语义分割网络。%的引用萨利希，赛义德·萨迪格·莫赫塞尼，德尼兹·埃尔多格穆斯和阿里·格利普尔。。Tversky损失函数用于三维图像分割卷积深度网络。”国际机械研讨会%医学影像学习。施普林格，Cham, 2017。% ----------属性(常量)%用于防止除零的小常数。= 1e-8;结束属性%假阳性和假的默认权重系数%底片Alpha = 0.5;Beta = 0.5;结束方法函数层= tverskyPixelClassificationLayer(名称，alpha, beta)% layer = tverskyPixelClassificationLayer(name, alpha, beta)创建一个Tversky%像素分类层具有指定的名称和属性alpha和beta。设置层名。层。的名字＝name; layer.Alpha = alpha; layer.Beta = beta;设置层描述。层。Description =“特沃斯基损失”；结束函数损失(层，Y, T)% loss = forwardLoss(layer, Y, T)返回之间的Tversky损失预测Y和训练目标T。Pcnot = 1-Y;Gcnot = 1-T;TP = sum(sum(y *T,1)，2);FP = sum(sum(Y.*Gcnot,1)，2);FN = sum(sum(Pcnot.*T,1)，2);number = TP + layer.Epsilon;denom = TP +层。Alpha*FP +层。β*FN + layer.Epsilon;计算特沃斯基指数lossTIc = 1 - number ./denom;lossTI = sum(lossTIc,3);返回平均特沃斯基指数损失。N = size(Y,4);损失= sum(lossTI)/N;结束结束结束
GPU的兼容性
所使用的MATLAB函数forwardLoss在tverskyPixelClassificationLayer所有的支持gpuArray输入，所以该层是GPU兼容的。
检查输出层有效性
创建该层的一个实例。
层= tverskyPixelClassificationLayer(“特沃斯基”, 0.7, 0.3);
通过使用检查层的有效性checkLayer(深度学习工具箱)．将有效的输入大小指定为该层的典型输入的单个观察值的大小。该层期望H——- - - - - -W——- - - - - -K——- - - - - -N数组输入，其中K是班级的数量，和N是小批中的观察数。
numClasses = 2;validInputSize = [4 4 numClasses];validInputSize checkLayer(层,“ObservationDimension”4)
跳过GPU测试。没有找到兼容的GPU设备。跳过代码生成兼容性测试。要检查代码生成层的有效性，请指定'CheckCodegenCompatibility'和'ObservationDimension'选项。运行nnet.checklayer.TestOutputLayerWithoutBackward ........完成nnet.checklayer.TestOutputLayerWithoutBackward __________测试总结:8通过，0失败，0不完整，2跳过。时间流逝:0.31452秒。
测试摘要报告通过、失败、不完整和跳过测试的数量。
在语义分割网络中使用自定义层
创建一个语义分割网络tverskyPixelClassificationLayer．
图层= [imageInputLayer([32 32 1]) convolution2dLayer(3,64，“填充”，1) maxPooling2dLayer(2，“步”, 2) convolution2dLayer (64,“填充”，1) reluLayer转置conv2dlayer (4,64，“步”2,“种植”，1) convolution2dLayer(1,2) softmaxLayer tverskyPixelClassificationLayer(“特沃斯基”, 0.3, 0.7);
加载训练数据用于语义分割使用imageDatastore而且pixelLabelDatastore．
dataSetDir = fullfile(toolboxdir(“愿景”)，“visiondata”，“triangleImages”）;imageDir = fullfile(dataSetDir，“trainingImages”）;labelDir = fullfile(dataSetDir，“trainingLabels”）;imds = imageDatastore(imageDir);classNames = [“三角形”“背景”];labelIDs = [255 0];pxds = pixelLabelDatastore(labelDir, classNames, labelIDs);
使用数据存储将图像和像素标签数据关联起来结合．
Ds = combine(imds,pxds);
设置训练选项，训练网络。
选项= trainingOptions(“亚当”，.．.“InitialLearnRate”1 e - 3,.．.“MaxEpochs”, 100,.．.“LearnRateDropFactor”, 5 e 1,.．.“LearnRateDropPeriod”, 20岁,.．.“LearnRateSchedule”，“分段”，.．.“MiniBatchSize”, 50);net = trainNetwork(ds,layers,options);
单CPU训练。初始化输入数据规范化。|========================================================================================| | 时代| |迭代时间| Mini-batch | Mini-batch |基地学习 | | | | ( hh: mm: ss) | | |丧失准确性 | |========================================================================================| | 1 | 1 | 00:00:01 | 50.32% | 1.2933 | 0.0010 | | 13 | 50 | 00:00:20 | 98.83% | 0.0991 | 0.0010 | | 25 | 100 | 00:00:37 | 99.33% | 0.0549 | 0.0005 | | | 150 | 00:00:53 | 99.37% | 0.0465 |0.0005 | | 200 | | 00:01:07 | 99.48% | 0.0400 | 0.0003 | 63 | 250 | | 00:01:20 | 99.47% | 0.0385 | 0.0001 | 75 | 300 | | 00:01:31 | 99.54% | 0.0349 | 0.0001 | 88 | 350 | | 00:01:42 | 99.51% | 0.0353 | 6.2500 e-05 | | 100 | 400 | 00:01:53 | | 0.0331 | 6.2500 e-05 99.56% | |========================================================================================| 培训完成:马克思时代完成。
通过对测试图像进行分割并显示分割结果来评估训练后的网络。
I = imread(“triangleTest.jpg”）;[C，分数]= semanticseg(I,net);B = labeloverlay(I,C);蒙太奇({B}我)
参考文献
[1]萨利希，赛义德·萨迪格·莫赫塞尼，德尼兹·埃尔多格穆斯和阿里·格利普尔。“使用3D全卷积深度网络进行图像分割的Tversky损失函数。”医学影像中的机器学习国际研讨会．施普林格，Cham, 2017。
使用扩张卷积的语义分割
使用扩张卷积训练语义分割网络。
语义分割网络对图像中的每个像素进行分类，从而得到按类分割的图像。语义分割的应用包括用于自动驾驶的道路分割和用于医疗诊断的癌细胞分割。要了解更多信息，请参见开始使用深度学习进行语义分割．
像DeepLab[1]这样的语义分割网络广泛使用了扩张卷积(也称为atrous卷积)，因为它们可以在不增加参数或计算数量的情况下增加层的接受域(层可以看到的输入区域)。
负荷训练数据
该示例使用一个简单的32x32三角形图像数据集进行演示。数据集包括随附的像素标签地面真相数据。加载训练数据imageDatastore和一个pixelLabelDatastore．
dataFolder = fullfile(toolboxdir(“愿景”)，“visiondata”，“triangleImages”）;imageFolderTrain = fullfile(数据文件夹，“trainingImages”）;labelFolderTrain = fullfile(数据文件夹，“trainingLabels”）;
创建一个imageDatastore图片。
imdsTrain = imageDatastore(imageFolderTrain);
创建一个pixelLabelDatastore对于ground truth像素标签。
classNames = [“三角形”“背景”];标签= [255 0];pxdsTrain = pixelLabelDatastore(标签foldertrain,classNames，标签)
pxdsTrain = PixelLabelDatastore with properties: Files: {200x1 cell} ClassNames: {2x1 cell} ReadSize: 1 ReadFcn: @readDatastoreImage AlternateFileSystemRoots: {}
创建语义分割网络
这个例子使用了一个简单的基于扩张卷积的语义分割网络。
为训练数据创建一个数据源，并获取每个标签的像素计数。
ds = combine(imdsTrain,pxdsTrain);tbl = countEachLabel(pxdsTrain)
台=2×3表名字PixelCount ImagePixelCount ______________ __________ _______________ {' 三角形的}10326 2.048 e + 05年{‘背景’}1.9447 e + 05年2.048 e + 05
大多数像素标签用于背景。这种阶级不平衡使学习过程偏向优势阶级。要解决这个问题，可以使用类加权来平衡类。您可以使用几种方法来计算类的权重。一种常见的方法是逆频率加权，其中类权重是类频率的逆。此方法增加了给予未表示类的权重。使用逆频率加权计算类权重。
numberPixels = sum(tbl.PixelCount);频率= tbl。P我xelCount / numberPixels; classWeights = 1 ./ frequency;
使用与输入图像大小对应的输入大小的图像输入层创建用于像素分类的网络。接下来，指定卷积、批处理归一化和ReLU层的三个块。对于每个卷积层，指定32个增加膨胀因子的3 × 3滤波器，并填充输入，使它们与输出大小相同“填充”选项“相同”．要对像素进行分类，需要包含卷积层K1 × 1卷积，其中K是类的数量，后面是一个softmax层和一个pixelClassificationLayer用逆类权值。
inputSize = [32 32 1];filterSize = 3;numFilters = 32;numClasses = numel(classNames);图层= [imageInputLayer(inputSize) convolution2dLayer(filterSize,numFilters，“DilationFactor”，1,“填充”，“相同”卷积2dlayer (filterSize,numFilters，“DilationFactor”2,“填充”，“相同”卷积2dlayer (filterSize,numFilters，“DilationFactor”4“填充”，“相同”batchNormalizationLayer reluLayer convolution2dLayer(1,numClasses)“类”一会,“ClassWeights”classWeights)];
列车网络的
指定培训选项。
选项= trainingOptions(“个”，.．.“MaxEpochs”, 100,.．.“MiniBatchSize”, 64,.．.“InitialLearnRate”1 e - 3);
使用trainNetwork．
net = trainNetwork(ds,layers,options);
单CPU训练。初始化输入数据规范化。|========================================================================================| | 时代| |迭代时间| Mini-batch | Mini-batch |基地学习 | | | | ( hh: mm: ss) | | |丧失准确性 | |========================================================================================| | 1 | 1 | 00:00:01 | 91.62% | 1.6825 | 0.0010 | | 17 | 50 | 00:00:17 | 88.56% | 0.2393 | 0.0010 | | 100 | | 00:00:29 | 92.08% | 0.1672 | 0.0010 | | 150 | | 00:00:41 | 93.17% | 0.1472 |0.0010 | 67 | 200 | | 00:00:54 | 94.15% | 0.1313 | 0.0010 | 84 | 250 | | 00:01:06 | 94.47% | 0.1167 | 0.0010 | 100 | 300 | | 00:01:18 | | 0.1100 | 0.0010 95.04% | |========================================================================================| 培训完成:马克思时代完成。
测试网络
加载测试数据。创建一个imageDatastore图片。创建一个pixelLabelDatastore对于ground truth像素标签。
imageFolderTest = fullfile(数据文件夹，“testImages”）;imdsTest = imageDatastore(imageFolderTest);labelFolderTest = fullfile(数据文件夹，“testLabels”）;pxdsTest = pixelLabelDatastore(labelFolderTest,classNames,labels);
利用测试数据和训练过的网络进行预测。
pxdsPred = semanticseg(imdsTest,net，“MiniBatchSize”32岁的“WriteLocation”, tempdir);
运行的语义分割网络 ------------------------------------- * 100张图片处理。
评估预测精度evaluateSemanticSegmentation．
metrics = evaluateSemanticSegmentation(pxdsPred,pxdsTest);
评估语义分割结果---------------------------------------- *选择的指标:全局精度，类别精度，IoU，加权IoU, BF分数。*处理了100张图像。*完成……完成了。*数据集指标:GlobalAccuracy MeanAccuracy MeanIoU WeightedIoU MeanBFScore ______________ ____________ _______ ___________ ___________ 0.95237 0.97352 0.72081 0.92889 0.46416
有关评估语义分割网络的更多信息，请参见evaluateSemanticSegmentation．
新图像
读取并显示测试图像triangleTest.jpg．
imgTest = imread(“triangleTest.jpg”）;图imshow (imgTest)
分割测试图像使用semanticseg并使用显示结果labeloverlay．
C = semanticseg(imgTest,net);B = labeloverlay(imgTest,C);图imshow (B)
输入参数
输出参数
扩展功能
版本历史
在R2017b中引入
另请参阅
功能
应用程序
对象
ImageDatastore|pixelLabelDatastore|dlnetwork(深度学习工具箱)
主题
- 开始使用深度学习进行语义分割
- MATLAB深度学习(深度学习工具箱)
- 用于深度学习的数据存储(深度学习工具箱)
外部网站
您也可以从以下列表中选择一个网站: