使用`parfeval`训练多个深度学习网络

这个示例使用:

这个例子展示了如何使用parfeval对深度学习网络的网络架构深度进行参数扫描，并在训练过程中检索数据。

深度学习训练通常需要数小时或数天的时间，寻找好的体系结构可能很困难。通过并行计算，您可以加速并自动化搜索好的模型。如果可以访问具有多个图形处理单元(gpu)的计算机，则可以在具有本地并行池的数据集的本地副本上完成本例。如果你想使用更多的资源，你可以将深度学习培训扩展到云端。这个例子展示了如何使用parfeval在云中的集群中对网络体系结构的深度执行参数扫描。使用parfeval允许你在后台训练而不阻塞MATLAB，并提供选项，如果结果是令人满意的提前停止。您可以修改脚本，对任何其他参数进行参数扫描。此外，本例还展示了如何在计算过程中利用DataQueue．

需求

在运行此示例之前，您需要配置一个集群并将数据上传到Cloud。在MATLAB中，您可以直接从MATLAB桌面在云中创建集群。在首页选项卡,平行菜单中,选择创建和管理集群．在“集群配置文件管理器”中，单击创建云计算集群．您也可以使用MathWorks Cloud Center创建和访问计算集群。有关更多信息，请参见云中心入门．对于本例，确保您的集群在MATLAB上被设置为默认值首页选项卡,在平行>选择默认集群．之后，将数据上传到Amazon S3桶中，并直接从MATLAB中使用它。本例使用已经存储在Amazon S3中的CIFAR-10数据集的副本。说明,请参阅上传深度学习数据到云端．

从云加载数据集

使用从云中加载训练和测试数据集imageDatastore．将训练数据集分成训练集和验证集，并保留测试数据集，从参数扫描中测试最佳网络。在本例中，使用存储在Amazon S3中的CIFAR-10数据集的副本。为了确保工作人员能够访问云中的数据存储，请确保正确设置AWS凭据的环境变量。看到上传深度学习数据到云端．

imd = imageDatastore (s3: / / cifar10cloud / cifar10 /火车'，.．.“IncludeSubfolders”,真的,.．.“LabelSource”，“foldernames”）;imdsTest = imageDatastore (s3: / / cifar10cloud / cifar10 /测试”，.．.“IncludeSubfolders”,真的,.．.“LabelSource”，“foldernames”）;[imdsTrain, imdsValidation] = splitEachLabel (imd, 0.9);

用增强的图像数据训练网络augmentedImageDatastore对象。使用随机平移和水平反射。数据增强有助于防止网络过拟合和记忆训练图像的精确细节。

imageSize = [32 32 3];pixelRange = [-4 4];imageAugmenter = imageDataAugmenter (.．.“RandXReflection”,真的,.．.“RandXTranslation”pixelRange,.．.“RandYTranslation”, pixelRange);imdsTrain augmentedImdsTrain = augmentedImageDatastore(图象尺寸,.．.“DataAugmentation”imageAugmenter,.．.“OutputSizeMode”，“randcrop”）;

同时训练多个网络

定义培训选项。设置小批量大小，并根据小批量大小线性缩放初始学习率。设置验证频率以便trainNetwork每个纪元验证一次网络。

miniBatchSize = 128;initialLearnRate = 1 -1 * miniBatchSize/256;validationFrequency =地板(元素个数(imdsTrain.Labels) / miniBatchSize);选择= trainingOptions (“个”，.．.“MiniBatchSize”miniBatchSize,.．.设置迷你批处理大小“详细”假的,.．.不发送命令行输出。“InitialLearnRate”initialLearnRate,.．.%设置缩放学习速率。“L2Regularization”1平台以及.．.“MaxEpochs”30岁的.．.“洗牌”，“every-epoch”，.．.“ValidationData”imdsValidation,.．.“ValidationFrequency”, validationFrequency);

指定要在其上执行参数扫描的网络体系结构的深度。执行并行参数扫描训练多个网络同时使用parfeval．使用循环在扫描中遍历不同的网络架构。创建helper函数createNetworkArchitecture在脚本的末尾，它接受一个输入参数来控制网络的深度并为CIFAR-10创建一个体系结构。使用parfeval来卸载执行的计算trainNetwork到集群中的一个工作者。parfeval返回一个future变量，用于在计算完成时保存训练过的网络和训练信息。

netDepths = 1:4;为idx = 1: numl (netdepth) networksFuture(idx) = parfeval(@trainNetwork,2，.．.augmentedImdsTrain createNetworkArchitecture (netDepths (idx)),选择);结束

使用“MyCluster”配置文件启动并行池(parpool)…连接到并行池(工人数量:4)。

parfeval不会阻塞MATLAB，这意味着您可以继续执行命令。在这种情况下，通过使用获得训练过的网络及其训练信息fetchOutputs在networksFuture．的fetchOutputs函数等待，直到将来变量完成。

[trainedNetworks, trainingInfo] = fetchOutputs (networksFuture);

获取网络的最终验证精度trainingInfo结构。

精度= [trainingInfo。FinalValidationAccuracy]

精度=1×472.5600 77.2600 79.4000 78.6800

在准确性方面选择最佳网络。根据测试数据集测试其性能。

[~， I] = max(精度);bestNetwork = trainedNetworks(我(1));YPredicted =分类(bestNetwork imdsTest);accuracy = sum(yexpected == imdste . labels)/numel(imdste . labels)

精度= 0.7840

计算测试数据的混淆矩阵。

图(“单位”，“归一化”，“位置”，[0.2 0.2 0.4 0.4]);confusionchart (imdsTest。标签,YPredicted,“RowSummary”，“row-normalized”，“ColumnSummary”，“column-normalized”）;

在培训期间发送反馈数据

准备并初始化显示每个工人的培训进度的图。使用animatedLine为了方便地显示变化的数据。

f =图;f.Visible = true;为i = 1:4次要情节(2,2,我)包含(“迭代”）;ylabel (“训练的准确性”）;行(i) = animatedline;结束

将工人的培训进度数据发送给客户端DataQueue，然后绘制数据。每次员工通过使用发送培训进度反馈时更新图afterEach．的参数选择包含关于工作者、训练迭代和训练准确性的信息。

D = parallel.pool.DataQueue;afterEach(D， @(opts) updatePlot(lines, opts{:}));

指定要在其上执行参数扫描的网络体系结构的深度，并使用parfeval．通过将脚本作为附加文件添加到当前池中，允许工作者访问此脚本中的任何helper函数。在培训选项中定义输出函数，将培训进度从工人发送到客户端。培训选项取决于工人的指数，必须包含在为循环。

netDepths = 1:4;addAttachedFiles (gcp mfilename);为idx = 1:numel(netdepth) miniBatchSize = 128;initialLearnRate = 1 -1 * miniBatchSize/256;根据小批量大小调整学习率。validationFrequency =地板(元素个数(imdsTrain.Labels) / miniBatchSize);选择= trainingOptions (“个”，.．.“OutputFcn”@(州)sendTrainingProgress (D idx状态),.．.设置输出函数将中间结果发送到客户端。“MiniBatchSize”miniBatchSize,.．.%在扫描中设置相应的MiniBatchSize。“详细”假的,.．.不发送命令行输出。“InitialLearnRate”initialLearnRate,.．.%设置缩放学习速率。“L2Regularization”1平台以及.．.“MaxEpochs”30岁的.．.“洗牌”，“every-epoch”，.．.“ValidationData”imdsValidation,.．.“ValidationFrequency”, validationFrequency);networksFuture (idx) = parfeval (@trainNetwork 2.．.augmentedImdsTrain createNetworkArchitecture (netDepths (idx)),选择);结束

parfeval调用trainNetwork在集群中的一个worker上。计算发生在后台，所以你可以继续在MATLAB中工作。如果你想停止一个parfeval计算，你可以调用取消对应的未来变量。例如，如果您观察到一个网络的性能不佳，您可以取消它的未来。当您这样做时，下一个排队的未来变量开始它的计算。

在本例中，通过调用获取经过训练的网络及其训练信息fetchOutputs未来变量。

[trainedNetworks, trainingInfo] = fetchOutputs (networksFuture);

得到每个网络的最终验证精度。

精度= [trainingInfo。FinalValidationAccuracy]

精度=1×472.9.200 77.4800 76.9200 77.0400

辅助函数

用函数为CIFAR-10数据集定义一个网络体系结构，并使用一个输入参数来调整网络的深度。为了简化代码，可以使用卷积块对输入进行卷积。池化层向下采样空间维度。

函数layers = createNetworkArchitecture(netDepth) imageSize = [32 32 3];netWidth =轮(16 /√(netDepth));% netWidth控制卷积块中过滤器的数量layers = [imageInputLayer(imageSize) convolutionalBlock(netWidth,netDepth) maxPooling2dLayer(2，“步”2) convolutionalBlock (2 * netWidth netDepth) maxPooling2dLayer (2“步”，2) convolutionalBlock(4*netWidth,netDepth) averagePooling2dLayer(8) fullyConnectedLayer(10) softmaxLayer classificationLayer];结束

定义一个函数在网络体系结构中创建卷积块。

函数layers = convolutionalBlock(numFilters,numConvLayers) layers = [convolution2dLayer(3,numFilters，“填充”，“相同”;;;;层= repmat(层numConvLayers 1);结束

定义一个函数，通过它将培训进度发送给客户端DataQueue．

函数sendTrainingProgress (D, idx信息)如果信息。状态= =“迭代”发送(D, {idx、info.Iteration info.TrainingAccuracy});结束结束

定义一个更新函数，以便在工作者发送中间结果时更新图。

函数updatePlot(线、idx iter acc) addpoints(直线(idx)、iter acc);drawnowlimitratenocallbacks结束

另请参阅

parfeval(并行计算工具箱)|afterEach|trainNetwork|trainingOptions|imageDatastore

使用parfeval训练多个深度学习网络