使用SSD深度学习的对象检测
这个例子展示了如何训练一个单发检测器(SSD)。
概述
深度学习是一种功能强大的机器学习技术，可以自动学习检测任务所需的图像特征。使用深度学习的物体检测技术有几种，如Faster R-CNN、You Only Look Once (YOLO v2)和SSD。这个例子训练一个SSD车辆检测器trainSSDObjectDetector函数。更多信息，请参见对象检测(计算机视觉工具箱)。
下载Pretrained探测器
下载一个预先训练的检测器，以避免必须等待训练完成。如果你想训练检测器，设置doTraining变量为true。
doTraining = false;如果~ doTraining & & ~存在(“ssdResNet50VehicleExample_22b.mat”,“文件”) disp (“下载预先训练的检测器(44 MB)…”);pretrainedURL =“//www.ru-cchi.com/supportfiles/vision/data/ssdResNet50VehicleExample_22b.mat”;websave (“ssdResNet50VehicleExample_22b.mat”, pretrainedURL);结束
加载数据集
本例使用了一个包含295张图像的小型车辆数据集。其中许多图像来自于Caltech Cars 1999年和2001年的数据集，由Pietro Perona创建，并经许可使用。每张图片都包含一到两个带有标签的车辆实例。一个小的数据集对于探索SSD训练过程是有用的，但在实践中，需要更多的标记图像来训练一个健壮的检测器。
解压缩vehicleDatasetImages.zipdata =负载(“vehicleDatasetGroundTruth.mat”);vehicleDataset = data.vehicleDataset;
训练数据存储在一个表中。第一列包含图像文件的路径。其余列包含车辆的ROI标签。显示数据的前几行。
vehicleDataset (1:4,:)
ans =4×2表imageFilename车辆 _________________________________ _________________ {' vehicleImages / image_00001.jpg '} {[220 136 35 28]} {' vehicleImages / image_00002.jpg '} {[45 175 126 61]} {' vehicleImages / image_00003.jpg '} {[45 108 120 33]} {' vehicleImages / image_00004.jpg '} {[124 112 38 36]}
将数据集拆分为训练检测器的训练集和评估检测器的测试集。选择60%的数据进行训练。用剩下的数据进行评估。
rng (0);shuffledIndices = randperm(高度(vehicleDataset));idx = floor(0.6 * length(shuffledIndices));trainingData = vehicleDataset (shuffledIndices (1: idx):);testData = vehicleDataset (shuffledIndices (idx + 1:结束):);
使用imageDatastore和boxLabelDatastore在训练和评估时加载图像和标签数据。
imdsTrain = imageDatastore (trainingData {:,“imageFilename”});bldsTrain = boxLabelDatastore (trainingData (:,“汽车”));imdsTest = imageDatastore (testData {:,“imageFilename”});bldsTest = boxLabelDatastore (testData (:,“汽车”));
结合图像和框标签数据存储。
trainingData =结合(imdsTrain bldsTrain);testData = combine(imdsTest, bldsTest);
展示其中一个训练图片和盒子标签。
data =阅读(trainingData);我={1}数据;bbox ={2}数据;annotatedImage = insertShape(我“矩形”, bbox);annotatedImage = imresize (annotatedImage 2);图imshow (annotatedImage)
创建SSD对象检测网络
使用ssdObjectDetector函数自动创建SSD对象检测器。ssdObjectDetector需要指定几个参数化SSD对象检测器的输入，包括基础网络也称为特征提取网络，输入大小，类名，锚框和检测网络源。使用来自输入基网络的特定层来指定检测网络源。检测网络将通过。自动连接到输入基网络ssdObjectDetector函数。
特征提取网络通常是一个预先训练的CNN(参见预训练深度神经网络更多的细节)。本例使用ResNet-50进行特征提取。其他预训练的网络，如MobileNet v2或ResNet-18也可以根据应用程序的需求来使用。与特征提取网络相比，检测子网络是一个小的CNN，由几个卷积层和特定于SSD的层组成。
网= resnet50 ();lgraph = layerGraph(净);
在选择网络输入大小时，要考虑训练图像的大小，以及在选定大小下处理数据所产生的计算成本。在可行的情况下，选择与训练图像大小接近的网络输入大小。但是，为了减少运行这个例子的计算成本，选择网络输入大小为[300 300 3]。在培训期间,trainSSDObjectDetector自动调整训练图像到网络输入大小。
inputSize = [300 300 3];
定义要检测的对象类。
一会= {“汽车”};
从ResNet-50网络中删除额外的层，并添加额外的层，使基础网络更健壮，以学习检测。
iRemoveLayers()助手函数将删除层后提到的层在layerGraph对象。我们需要这个函数从像ResNet-50这样的预训练网络中删除分类和全连接层，使其准备用于骨干网。为了使骨干网特征提取网络更健壮，我们将添加7个额外的卷积层..
ssdLayerGraph = iRemoveLayers (lgraph,“activation_40_relu”);weightsInitializerValue =“glorot”;biasInitializerValue =“零”;在基础网络的顶部附加额外的层。。extraLayers = [];%添加conv6_1和对应的reLUfilterSize = 1;numFilters = 256;numChannels = 1024;conv6_1 = convolution2dLayer(filterSize, numFilters, NumChannels = NumChannels，…Name =“conv6_1”,…WeightsInitializer = weightsInitializerValue,…BiasInitializer = biasInitializerValue);relu6_1 = reluLayer(Name = .“relu6_1”);extraLayers = [extraLayers;conv6_1;relu6_1];%添加conv6_2和相应的reLUfilterSize = 3;numFilters = 512;numChannels = 256;conv6_2 = convolution2dLayer(filterSize, numFilters, NumChannels = NumChannels，…填充= iSamePadding (filterSize),…Stride = [2,2]，…Name =“conv6_2”,…WeightsInitializer = weightsInitializerValue,…BiasInitializer = biasInitializerValue);relu6_2 = reluLayer(Name = .“relu6_2”);extraLayers = [extraLayers;conv6_2;relu6_2];%添加conv7_1和对应的reLUfilterSize = 1;numFilters = 128;numChannels = 512;conv7_1 = convolution2dLayer(filterSize, numFilters, NumChannels = NumChannels，…Name =“conv7_1”,…WeightsInitializer = weightsInitializerValue,…BiasInitializer = biasInitializerValue);relu7_1 = reluLayer(Name = .“relu7_1”);extraLayers = [extraLayers;conv7_1;relu7_1];%添加conv7_2和对应的reLUfilterSize = 3;numFilters = 256;numChannels = 128;conv7_2 = convolution2dLayer(filterSize, numFilters, NumChannels = NumChannels，…填充= iSamePadding (filterSize),…Stride = [2,2]，…Name =“conv7_2”,…WeightsInitializer = weightsInitializerValue,…BiasInitializer = biasInitializerValue);relu7_2 = reluLayer(Name = .“relu7_2”);extraLayers = [extraLayers;conv7_2;relu7_2];%添加conv8_1和相应的reLUfilterSize = 1;numFilters = 128;numChannels = 256;conv8_1 = convolution2dLayer(filterSize, numFilters, NumChannels = NumChannels，…Name =“conv8_1”,…WeightsInitializer = weightsInitializerValue,…BiasInitializer = biasInitializerValue);relu8_1 = reluLayer(Name = .“relu8_1”);extraLayers = [extraLayers;conv8_1;relu8_1];%添加conv8_2和对应的reLUfilterSize = 3;numFilters = 256;numChannels = 128;conv8_2 = convolution2dLayer(filterSize, numFilters, NumChannels = NumChannels，…Name =“conv8_2”,…WeightsInitializer = weightsInitializerValue,…BiasInitializer = biasInitializerValue);relu8_2 = reluLayer(Name = .“relu8_2”);extraLayers = [extraLayers;conv8_2;relu8_2];%添加conv9_1和对应的reLUfilterSize = 1;numFilters = 128;numChannels = 256;conv9_1 = convolution2dLayer(filterSize, numFilters, NumChannels = NumChannels，…填充= iSamePadding (filterSize),…Name =“conv9_1”,…WeightsInitializer = weightsInitializerValue,…BiasInitializer = biasInitializerValue);relu9_1 = reluLayer (“名字”,“relu9_1”);extraLayers = [extraLayers;conv9_1;relu9_1];如果~isempty(extraLayers) lastLayerName = ssdLayerGraph.Layers(end).Name;ssdLayerGraph = addLayers(ssdLayerGraph, extraLayers);ssdLayerGraph = connectLayers(ssdLayerGraph, lastLayerName, extraLayers(1).Name);结束
指定将添加检测网络源的网络的层名称。
detNetworkSource = [“activation_22_relu”,“activation_40_relu”,“relu6_2”,“relu7_2”,“relu8_2”];
指定锚框。锚盒(M × 1单元阵列)计数(M)必须与检测网络源计数相同。
anchorBoxes ={(60岁30;30、60;60岁,21岁,42岁,30);…(60 111; 60111; 111年,35;64年,60岁,111年,42岁,78年,60岁);…[162111, 111162, 162, 64, 94111, 162, 78, 115111];…(213162; 162213; 213年,94;123162;213115;151162);…(264213; 213264; 264151; 187213)};
创建SSD对象检测器对象。
探测器= ssdObjectDetector (ssdLayerGraph,一会,anchorBoxes DetectionNetworkSource = detNetworkSource InputSize = InputSize ModelName =“ssdVehicle”);
数据增加
数据增强是通过在训练过程中对原始数据进行随机变换来提高网络精度。通过使用数据增强，你可以为训练数据添加更多的多样性，而实际上不必增加标记的训练样本的数量。使用变换来扩充训练数据
随机水平翻转图像和相关的盒子标签。
随机缩放图像，关联框标签。
抖动图像颜色。
注意，数据增强没有应用于测试数据。理想情况下，测试数据应该是原始数据的代表，并且不进行修改，以便进行无偏评价。
augmentedTrainingData =变换(trainingData @augmentData);
通过多次读取同一图像来可视化增强训练数据。
augmentedData =细胞(4,1);为k = 1:4 data = read(augmentedTrainingData);augmentedData{k} = insertShape(data{1}，rectangle = data{2});重置(augmentedTrainingData);结束figure蒙太奇(augmentedData,BorderSize = 10)
训练数据进行预处理
对增强训练数据进行预处理，为训练做准备。
preprocessedTrainingData =变换(augmentedTrainingData @(数据)preprocessData(数据、inputSize));
读取预处理后的训练数据。
data =阅读(preprocessedTrainingData);
显示图像和边框。
我={1}数据;bbox ={2}数据;annotatedImage = insertShape(我“矩形”, bbox);annotatedImage = imresize (annotatedImage 2);图imshow (annotatedImage)
训练SSD对象检测器
使用trainingOptions指定网络培训选项。集“CheckpointPath”到一个临时地点。这使得在训练过程中可以保存部分训练过的检测器。如果训练中断，如停电或系统故障，您可以从保存的检查点恢复训练。
选择= trainingOptions (“个”,…MiniBatchSize = 16,…。InitialLearnRate = 1 e - 3,…LearnRateSchedule =“分段”,…LearnRateDropPeriod = 30,…LearnRateDropFactor = 0.8,…MaxEpochs = 20,…VerboseFrequency = 50,…CheckpointPath = tempdir,…洗牌=“every-epoch”);
使用trainSSDObjectDetector(计算机视觉工具箱)函数训练SSD对象检测器ifdoTraining为true。否则，加载一个预训练的网络。
如果doTraining%培训SSD检测器。[detector, info] = trainSSDObjectDetector(preprocessedTrainingData,detector,options);其他的%加载本例的预训练检测器。pretrained =负载(“ssdResNet50VehicleExample_22b.mat”);探测器= pretrained.detector;结束
本例在NVIDIA™Titan X GPU上验证，内存为12 GB。如果你的GPU内存较少，你可能会耗尽内存。如果发生这种情况，降低'MiniBatchSize的使用trainingOptions函数。使用这种设置训练这个网络大约花了2个小时。训练时间取决于你使用的硬件。
作为一个快速测试，在一个测试图像上运行检测器。
data =阅读(testData);我={1 1}数据;我= imresize(我inputSize (1:2));[bboxes,分数]=检测(探测器,I);
显示结果。
我= insertObjectAnnotation (,“矩形”bboxes,分数);图imshow(我)
使用测试集评估检测器
在一组大的图像上评估训练过的目标检测器，以衡量其性能。计算机视觉工具箱™提供对象检测器评估功能，以测量常见指标，如平均精度(evaluateDetectionPrecision)和log-average miss rates (evaluateDetectionMissRate)。对于本例，使用平均精度度量来评估性能。平均精度提供了一个数字，该数字包含了检测器做出正确分类的能力(精度)以及探测器找到所有相关对象的能力(回忆)。
对测试数据应用与训练数据相同的预处理变换。注意，数据增强没有应用于测试数据。测试数据应该是原始数据的代表，不做任何修改，以便进行无偏评价。
preprocessedTestData =变换(testData @(数据)preprocessData(数据、inputSize));
在所有测试图像上运行检测器。
detectionResults = detect(detector, preprocessedTestData, MiniBatchSize = 32);
使用平均精度度量来评估对象检测器。
[ap,recall,precision] = evaluateDetectionPrecision(detectionResults, preprocessedTestData);
精确度/召回率(PR)曲线突出了检测器在不同召回水平下的精确度。理想情况下，在所有召回级别上，精确度都是1。使用更多的数据可以帮助提高平均精度，但可能需要更多的训练时间绘制PR曲线。
图绘制(召回、精密)包含(“回忆”) ylabel (“精度”网格)在标题(sprintf (“平均精度= %.2f”据美联社)),
代码生成
一旦对检测器进行了训练和评估，就可以为ssdObjectDetector使用GPU编码器™。更多细节，请参见使用单发多盒检测器进行目标检测的代码生成(计算机视觉工具箱)的例子。
支持功能
函数B = augmentData (A)%应用随机水平翻转，和随机X/Y缩放。盒子,%缩放到边界外，如果重叠大于0.25则被剪切。同时,%抖动图像颜色。B =细胞(大小(A));我= {1};深圳=大小(I);如果numel(sz)==3 && sz(3) ==3 I = jitterColorHSV(I，…对比= 0.2,…颜色= 0,…饱和= 0.1,…亮度= 0.2);结束%随机翻转和缩放图像。tform = randomAffine2d(XReflection = true, Scale = [1 1.1]);routing = affineOutputView(sz,tform, BoundsStyle = .“CenterOutput”);B{1} = imwarp(I,tform,OutputView = rout);%消毒盒子，如果需要。A{2} = helperSanitizeBoxes(A{2}， sz);%对盒子应用相同的变换。[B{2}，indices] = bboxwarp(A{2}，tform,rout,OverlapThreshold = 0.25);B{3} ={3}(指标);%只有当所有的方框都被扭曲删除时才返回原始数据。如果isempty(indexes) B = A;结束结束函数targetSize data = preprocessData(数据)%调整图片和边框到targetSize。Sz = size(data{1}，[1 2]);规模= targetSize(1:2)。/深圳;{1} = imresize数据(数据{1},targetSize (1:2));%消毒盒子，如果需要。data{2} = helperSanitizeBoxes(data{2}， sz);%调整盒子。{2} = bboxresize数据(数据{2},规模);结束函数lgraph = iRemoveLayers(lgraph, lastLayer)删除lastLayer之后的所有图层。dg = vision.internal.cnn.RCNNLayers.digraph (lgraph);%找到最后一层。id = findnode (dg, char (lastLayer));%搜索从特征提取开始的所有节点%层。如果~(sum(id)==0) ids = dfsearch(dg,id);名称= dg.Nodes.Name (id:);lgraph = removeLayers(lgraph, names(2:end));结束结束函数p = iSamePadding(FilterSize) p = floor(FilterSize / 2);结束
参考文献
[1] Liu, Wei, Dragomir Anguelov, Dumitru Erhan, Christian Szegedy, Scott Reed, Cheng Yang Fu，和Alexander C. Berg。“SSD:单发多盒探测器。”第14届欧洲计算机视觉大会，ECCV 2016。施普林格1 - 2016。
另请参阅
应用程序
功能
trainSSDObjectDetector(计算机视觉工具箱)|analyzeNetwork|结合|变换|evaluateDetectionPrecision(计算机视觉工具箱)|ssdLayers(计算机视觉工具箱)|trainingOptions|检测(计算机视觉工具箱)|读
对象
ssdObjectDetector(计算机视觉工具箱)|boxLabelDatastore(计算机视觉工具箱)|imageDatastore
相关的话题
- 使用单发多盒检测器进行目标检测的代码生成(计算机视觉工具箱)
- 创建SSD对象检测网络(计算机视觉工具箱)
- SSD多盒检测入门(计算机视觉工具箱)
你也可以从以下列表中选择一个网站: