adamupdate
使用自适应矩估计(Adam)更新参数
语法
描述
使用自适应矩估计(Adam)算法更新自定义训练循环中的网络可学习参数。
请注意
该函数应用Adam优化算法更新自定义训练循环中的网络参数，该循环使用定义为的网络dlnetwork对象或模型函数。如果你想训练一个被定义为层数组或作为LayerGraph，使用以下功能:
创建一个
TrainingOptionsADAM对象使用trainingOptions函数。使用
TrainingOptionsADAM对象的trainNetwork函数。
［更新网络的可学习参数netUpdated，averageGrad，averageSqGrad) = adamupdate (网，研究生，averageGrad，averageSqGrad，迭代）网使用亚当算法。在训练循环中使用此语法迭代更新定义为的网络dlnetwork对象。
［中的可学习参数参数个数，averageGrad，averageSqGrad) = adamupdate (参数个数，研究生，averageGrad，averageSqGrad，迭代）参数个数使用亚当算法。在训练循环中使用此语法可以迭代更新使用函数定义的网络的可学习参数。
［___) = adamupdate (___还指定用于全局学习率、梯度衰减、平方梯度衰减和小常数epsilon的值，以及前面语法中的输入参数。learnRate，gradDecay，sqGradDecay，ε）
例子
更新可学习参数使用adamupdate
执行一个全局学习率为的自适应矩估计更新步骤0.05的梯度衰减系数０．７５的梯度衰减因子的平方0.95．
将参数和参数梯度创建为数值数组。
params =兰德(3、3、4);研究生= 1(3、3、4);
为第一次迭代初始化迭代计数器、平均梯度和平均平方梯度。
迭代= 1;averageGrad = [];averageSqGrad = [];
指定全局学习率、梯度衰减因子和梯度衰减因子平方的自定义值。
learnRate = 0.05;gradDecay = 0.75;sqGradDecay = 0.95;
使用更新可学习参数adamupdate．
[params, averageGrad averageSqGrad] = adamupdate (params,研究生,averageGrad, averageSqGrad,迭代,learnRate, gradDecay, sqGradDecay);
更新迭代计数器。
迭代=迭代+ 1;
列车网络的使用adamupdate
使用adamupdate用亚当算法训练一个网络。
负荷训练数据
加载数字训练数据。
[XTrain, TTrain] = digitTrain4DArrayData;类=类别(TTrain);numClasses =元素个数(类);
定义网络
方法定义网络并指定平均图像值的意思是选项在图像输入层。
layers = [imageInputLayer([28 28 1]，“的意思是”，均值(XTrain,4))卷积2dlayer (5,20) reluLayer卷积2dlayer (3,20)，“填充”20岁的,1)reluLayer convolution2dLayer (3“填充”1) reluLayer fullyConnectedLayer(numClasses) softmaxLayer];
创建一个dlnetwork对象。
网= dlnetwork(层);
定义模型损失函数
创建helper函数modelLoss，列在示例的末尾。函数的参数是adlnetwork对象和带有相应标签的输入数据的小批，并返回损失和损失相对于可学习参数的梯度。
指定培训选项
指定要在培训期间使用的选项。
miniBatchSize = 128;numEpochs = 20;numObservations =元素个数(TTrain);numIterationsPerEpoch =地板(numObservations. / miniBatchSize);
列车网络的
初始化平均梯度和平均梯度的平方。
averageGrad = [];averageSqGrad = [];
计算训练进度监视器的总迭代次数。
numIterations = numEpochs * numIterationsPerEpoch;
初始化TrainingProgressMonitor对象。因为计时器在创建监视器对象时开始，所以要确保创建的对象接近训练循环。
监控= = trainingProgressMonitor(指标“损失”信息=“时代”包含=“迭代”）;
使用自定义训练循环训练模型。对于每个历元，洗牌数据并遍历小批数据。更新网络参数adamupdate函数。在每次迭代结束时，显示训练进度。
如果有GPU，请使用GPU进行训练。使用GPU需要并行计算工具箱™和支持的GPU设备。有关支持的设备的信息，请参见GPU计算的需求(并行计算工具箱)．
迭代= 0;时代= 0;而epoch < numEpochs && ~monitor。停止epoch = epoch + 1;%洗牌数据。idx = randperm(元素个数(TTrain));XTrain = XTrain (:,:,:, idx);TTrain = TTrain (idx);我= 0;而i < numIterationsPerEpoch && ~monitor。停止i = i + 1;迭代=迭代+ 1;读取小批量数据，并将标签转换为虚拟%变量。idx =(张)* miniBatchSize + 1:我* miniBatchSize;X = XTrain (:,:,:, idx);T = 0 (numClasses, miniBatchSize，“单身”）;为c = 1:numClasses T(c,TTrain(idx)==classes(c)) = 1;结束将小批数据转换为dlarray。X = dlarray(单(X)“SSCB”）;如果在GPU上训练，那么将数据转换为GPU array。如果canUseGPU X = gpuArray(X);结束使用dlfeval和% modelLoss函数。(损失,梯度)= dlfeval (@modelLoss,净,X, T);使用Adam优化器更新网络参数。[净,averageGrad averageSqGrad] = adamupdate(净、渐变averageGrad averageSqGrad,迭代);更新培训进度监视器。recordMetrics(监控、迭代损失=损失);updateInfo(监视、时代=时代+“的”+ numEpochs);班长。进度= 100 *迭代/numIterations;结束结束
测试网络
通过比较测试集上的预测和真实标签来测试模型的分类准确性。
(XTest, tt) = digitTest4DArrayData;
将数据转换为adlarray使用维度格式“SSCB”(空间，空间，渠道，批处理)。对于GPU预测，也要将数据转换为agpuArray．
XTest = dlarray (XTest,“SSCB”）;如果canUseGPU XTest = gpuArray(XTest);结束
对图像进行分类dlnetwork对象,使用预测找出分数最高的班级。
欧美=预测(净,XTest);[~, idx] = max (extractdata(欧美),[],1);欧美=类(idx);
评估分类的准确性。
精度=意味着(欧美= = tt)
精度= 0.9896
损失函数模型
的modelLossHelper函数的参数为dlnetwork对象网以及一小批输入数据X与相应的标签T，并返回损失和损失相对于可学习参数的梯度网．方法可自动计算梯度dlgradient函数。
函数[loss,gradient] = modelLoss(net,X,T) Y = forward(net,X);损失= crossentropy (Y, T);梯度= dlgradient(损失、net.Learnables);结束
输入参数
输出参数
更多关于
扩展功能
版本历史
介绍了R2019b
您也可以从以下列表中选择网站: