要为网络实现自定义训练循环，首先要将其转换为dlnetwork对象。不包含输出层dlnetwork对象。相反，您必须在自定义训练循环中指定损失函数。

加载一个预先训练的GoogLeNet模型googlenet函数。此功能需要深度学习工具箱™模型GoogLeNet网络支持包。如果没有安装此支持包，则该功能提供下载链接。

网= googlenet;

将网络转换为层图，并删除用于分类使用的层removeLayers．

lgraph = layerGraph(净);lgraph = removeLayers (lgraph, (“概率”“输出”]);

将网络转换为adlnetwork对象。

dlnet = dlnetwork (lgraph)

dlnet = dlnetwork with properties: Layers: [142x1 nnet.cnn.layer.Layer] Connections: [168x2 table] Learnables: [116x3 table] State: [0x3 table] InputNames: {'data'} OutputNames: {'loss3-classifier'} Initialized: 1查看summary with summary。

使用网络数据布局对象创建多输入dlnetwork这样就可以训练了。该软件使用大小和格式信息来确定适当的大小和格式的可学习和状态参数dlnetwork．

定义网络架构。构建一个有两个分支的网络。网络接受两个输入，每个分支有一个输入。使用附加层连接分支。

numFilters = 24;layersBranch1 = [convolution2dLayer(3,6*numFilters,Padding= .“相同”步= 2)groupNormalizationLayer (“所有渠道”) reluLayer convolution2dLayer (3 numFilters填充=“相同”) groupNormalizationLayer (“channel-wise”) additionLayer (Name =“添加”) reluLayer fullyConnectedLayer(10) softmaxLayer];layersBranch2 = [convolution2dLayer(1,numFilters) groupNormalizationLayer(“所有渠道”、名称=“gnBranch2”));lgraph = layerGraph (layersBranch1);lgraph = addLayers (lgraph layersBranch2);lgraph = connectLayers (lgraph,“gnBranch2”，“添加/ in2”）;

创建表示典型网络输入的大小和格式的网络数据布局对象。对于这两个输入，使用批处理大小为32。使用一个大小为64 × 64的输入，为第一个分支中的卷积层提供三个通道。对于第二个分支中的卷积层，使用一个64 × 64的18通道的输入。

X1 = dlarray(rand([64 64 3 32])，“SSCB”）;X2 = dlarray(rand([32 32 18 32])，“SSCB”）;

创建dlnetwork．控件中未连接层的顺序提供输入层的属性lgraph．

网= dlnetwork (lgraph (X1, X2);

检查网络是否已初始化并为训练做好了准备初始化网络属性。

网初始化

ans =逻辑1

这个例子展示了如何训练一个使用自定义学习速率计划对手写数字进行分类的网络。

你可以训练大多数类型的神经网络使用trainNetwork而且trainingOptions功能。如果trainingOptions函数没有提供所需的选项(例如，自定义学习速率计划)，那么您可以使用dlarray而且dlnetwork对象自动区分。举个例子，展示如何使用trainNetwork功能,请参阅使用预训练网络的迁移学习．

训练深度神经网络是一项优化任务。把神经网络看作一个函数 $$f（X；\theta ）$$,在那里 $$X$$是网络输入，和 $$\theta$$是否设置了可学习的参数，可以进行优化 $$\theta$$根据训练数据，最小化了一些损失值。例如，优化可学习参数 $$\theta$$这样对于一个给定的输入 $$X$$有相应的目标 $$T$$，它们将预测之间的误差最小化 $$Y＝f（X；\theta ）$$而且 $$T$$．

所使用的损失函数取决于任务的类型。例如:

你可以使用梯度下降来优化目标:减少损失 $$l$$通过迭代更新可学习参数 $$\theta$$通过使用损失相对于可学习参数的梯度，逐步向最小值迈进。梯度下降算法通常通过使用表单更新步骤的变体来更新可学习参数 $${\theta }_{t+1}＝{\theta }_t-\rho \nabla l$$,在那里 $$t$$为迭代次数， $$\rho$$是学习率，和 $$\nabla l$$表示梯度(损失对可学习参数的导数)。

方法训练网络对手写数字进行分类基于时间的衰减学习率计划:对于每一次迭代，求解器使用给定的学习率 ${\rho }_{\mathit{t}}＝\frac{{\rho }_0}{1+\mathit{k}\mathit{t}}$,在那里t为迭代次数， $${\rho }_0$$是初始学习率，和k是衰减的。

dataFolder = fullfile (toolboxdir (“nnet”)，“nndemos”，“nndatasets”，“DigitDataset”）;imd = imageDatastore (dataFolder,.．.IncludeSubfolders = true,.．.．LabelSource =“foldernames”）;

[imdsTrain, imdsValidation] = splitEachLabel (imd, 0.9,“随机”）;

inputSize = [28 28 1];pixelRange = [-5 5];imageAugmenter = imageDataAugmenter (.．.RandXTranslation = pixelRange,.．.RandYTranslation = pixelRange);augimdsTrain = augmentedImageDatastore (inputSize (1:2), imdsTrain, DataAugmentation = imageAugmenter);

augimdsValidation = augmentedImageDatastore (inputSize (1:2), imdsValidation);

类=类别(imdsTrain.Labels);numClasses =元素个数(类);

layers = [imageInputLayer(inputSize, normalized = .“没有”) convolution2dLayer(5、20、填充=“相同”) batchNormalizationLayer reluLayer convolution2dLayer(3,20,Padding= .“相同”) batchNormalizationLayer reluLayer convolution2dLayer(3,20,Padding= .“相同”) batchNormalizationLayer reluLayer fulllyconnectedlayer (numClasses) softmaxLayer];

净= dlnetwork(层)

层:[12×1 nnet.cnn.layer.Layer] Connections: [11×2 table] Learnables: [14×3 table] State: [6×3 table] InputNames: {'imageinput'} OutputNames: {'softmax'} Initialized: 1用summary查看摘要。

numEpochs = 10;miniBatchSize = 128;

initialLearnRate = 0.01;衰变= 0.01;动量= 0.9;

兆贝可= minibatchqueue (augimdsTrain,.．.MiniBatchSize = MiniBatchSize,.．.MiniBatchFcn = @preprocessMiniBatch,.．.MiniBatchFormat = [“SSCB”＂＂]);

速度= [];

numObservationsTrain =元素个数(imdsTrain.Files);numIterationsPerEpoch = ceil(numObservationsTrain / miniBatchSize);numIterations = numEpochs * numIterationsPerEpoch;

监控= = trainingProgressMonitor(指标“损失”信息= (“时代”，“LearnRate”),包含=“迭代”）;

时代= 0;迭代= 0;循环遍历各个时代。而epoch < numEpochs && ~monitor。停止epoch = epoch + 1;%洗牌数据。洗牌(兆贝可);在小批量上循环。而hasdata(兆贝可)& & ~班长。停止迭代=迭代+ 1;读取小批数据。[X, T] =下一个(兆贝可);评估模型的梯度，状态和损失使用dlfeval和% modelLoss函数，并更新网络状态。(损失、渐变、状态)= dlfeval (@modelLoss,净,X, T);网=状态;为基于时间的衰减学习率时间表确定学习率。learnRate = initialLearnRate/(1 + decay*iteration);使用SGDM优化器更新网络参数。(净、速度)= sgdmupdate(净、渐变速度,learnRate动量);更新培训进度监视器。recordMetrics(监控、迭代损失=损失);updateInfo(监控、时代=时代LearnRate = LearnRate);班长。进度= 100 *迭代/numIterations;结束结束

numOutputs = 1;mbqTest = minibatchqueue (augimdsValidation numOutputs,.．.MiniBatchSize = MiniBatchSize,.．.MiniBatchFcn = @preprocessMiniBatchPredictors,.．.MiniBatchFormat =“SSCB”）;

欧美= modelPredictions(净、mbqTest、类);

tt = imdsValidation.Labels;精度=平均值(TTest == YTest)

精度= 0.9750

次图confusionchart (tt)

函数(损失、渐变、状态)= modelLoss(净,X, T)通过网络转发数据。[Y,状态]=前进(净,X);计算交叉熵损失。损失= crossentropy (Y, T);计算相对于可学习参数的损失梯度。。梯度= dlgradient(损失、net.Learnables);结束

函数Y = modelforecasts (net,mbq,classes) Y = [];在小批量上循环。而hasdata(mbq) X = next(mbq);%进行预测。成绩=预测(净,X);解码标签并附加到输出。标签= onehotdecode(成绩、类1)';Y = [Y;标签);结束结束

函数[X, T] = preprocessMiniBatch (dataX人数()%预处理预测。X = preprocessMiniBatchPredictors (dataX);从单元格中提取标签数据并连接。猫(T = 2,人数({1:结束});单热编码标签。T = onehotencode (T, 1);结束

函数X = preprocessMiniBatchPredictors (dataX)%连接。猫(X = 4, dataX{1:结束});结束

加载预训练的网络。

网= squeezenet;

将网络转换为层图，删除输出层，并将其转换为dlnetwork对象。

lgraph = layerGraph(净);lgraph = removeLayers (lgraph,“ClassificationLayer_predictions”）;dlnet = dlnetwork (lgraph);

的可学的财产的dlnetwork对象是一个包含网络可学习参数的表。该表在单独的行中包含嵌套层的参数。查看可学习表的前几行。

可学的= dlnet.Learnables;头(可学的)

层参数值  __________________ _________ ___________________ " conv1”“权重”{3 x3x3x64 dlarray}“conv1”“偏见”{1 x1x64 dlarray}“fire2-squeeze1x1”“权重”{1 x1x64x16 dlarray}“fire2-squeeze1x1”“偏见”{1 x1x16 dlarray}“fire2-expand1x1”“权重”{1 x1x16x64 dlarray}“fire2-expand1x1”“偏见”{1 x1x64 dlarray}“fire2-expand3x3”“权重”{3 x3x16x64 dlarray}“fire2-expand3x3”“偏见”{1 x1x64 dlarray}

方法来冻结网络的可学习参数，循环遍历可学习参数并将学习速率设置为0setLearnRateFactor函数。

因素= 0;numLearnables =大小(可学的,1);为i = 1:numLearnables layerName = learnables.Layer(i);parameterName = learnables.Parameter(我);dlnet = setLearnRateFactor (dlnet, layerName、parameterName因素);结束

要在训练时使用更新的学习速率因子，必须在自定义训练循环中将dlnetwork对象传递给更新函数。例如，使用命令

[dlnet、速度]= sgdmupdate (dlnet、渐变速度);

创建一个未初始化的dlnetwork对象，没有输入层。创建一个未初始化的dlnetwork在您还不知道网络输入的大小和格式时(例如dlnetwork嵌套在自定义层中。

定义网络层。该网络只有一个输入，没有连接到输入层。

layers = [convolution2dLayer(5,20) batchNormalizationLayer reluLayer fullyConnectedLayer(10) softmaxLayer];

创建一个未初始化的dlnetwork．设置初始化选项假．

dlnet = dlnetwork(层,“初始化”、假);

检查网络是否未初始化。

dlnet。初始化

ans =逻辑0

该网络的可学习参数和状态参数没有初始化进行训练。要初始化网络，请使用初始化函数。

如果你想用dlnet方法直接在自定义训练循环中，然后可以使用初始化函数并提供示例输入。

如果你想用dlnet在自定义层中，您可以利用自动初始化的优势。如果使用自定义层内部的dlnetwork,然后dlnet是初始化时的父dlnetwork是否被构造(或者如果父网络被构造为未初始化的dlnetwork)．方法训练的网络中使用自定义层trainNetwork函数,那么dlnet在训练时自动初始化。有关更多信息，请参见深度学习网络构成．