加载数据

从加载编码数据sonnetsEncoded.mat．这个MAT文件包含单词编码，一个小批量的序列X，以及相应的编码数据Z由示例中使用的编码器输出定义文本编码器模型函数(深度学习工具箱)．

s =负载(“sonnetsEncoded.mat”）;内附= s.enc;X = s.X;Z = s.Z;[latentDimension, miniBatchSize] =大小(Z, 1:2);

初始化模型参数

解码器的目标是在给定一些初始输入数据和网络状态的情况下生成序列。

初始化以下模型的参数。

解码器使用初始化编码器输出的LSTM重构输入。对于每个时间步，解码器预测下一个时间步，并使用输出进行下一个时间步预测。编码器和解码器都使用相同的嵌入。

该模型使用了三种操作:

指定参数的尺寸。嵌入尺寸必须与编码器匹配。

embeddingDimension = 100;vocabularySize = enc.NumWords;numHiddenUnits = latentDimension;

为参数创建一个结构。

参数=结构;

初始化嵌入的权值使用高斯函数initializeGaussian函数，该函数作为支持文件附加到本示例中。指定平均值为0，标准差为0.01。要了解更多，请参见高斯函数初始化(深度学习工具箱)．

sz = [embeddingDimension vocabularySize];μ= 0;σ= 0.01;parameters.emb.Weights = initializeGaussian (sz、μ、σ);

初始化解码器LSTM操作的可学习参数:

可学习参数的大小取决于输入的大小。因为LSTM操作的输入是来自嵌入操作的字向量序列，所以输入通道的数量为embeddingDimension．

sz = [4*numHiddenUnits embeddingDimension];numOut = 4 * numHiddenUnits;numIn = embeddingDimension;parameters.lstmDecoder.InputWeights = initializeGlorot(深圳、numOut numIn);parameters. lstmdecoders . recurrentweights = initializeOrthogonal([4*numHiddenUnits numHiddenUnits]);parameters.lstmDecoder.Bias = initializeUnitForgetGate (numHiddenUnits);

初始化编码器完全连接操作的可学习参数:

可学习参数的大小取决于输入的大小。因为全连接操作的输入是LSTM操作的输出，所以输入通道的数量为numHiddenUnits．使完全连接的运算输出向量具有大小latentDimension，指定输出大小latentDimension．

使完全连接的运算输出向量具有大小vocabularySize，指定输出大小vocabularySize．

sz = [vocabularySize numHiddenUnits];μ= 0;σ= 1;parameters.fcDecoder.Weights = initializeGaussian (sz、μ、σ);parameters. fcdecoer . bias = initializeZeros([vocabularySize 1]);

定义模型解码器函数

创建函数modelDecoder，列于译码器模型函数部分，该部分计算解码器模型的输出。的modelDecoder函数，取单词索引、模型参数和序列长度作为输入序列，并返回相应的潜在特征向量。

在模型损失函数中使用模型函数

当使用自定义训练循环训练深度学习模型时，必须计算损失和损失相对于可学习参数的梯度。这种计算依赖于模型函数向前传递的输出。

使用解码器生成文本数据有两种常见方法:

闭环的一代

闭环生成是指模型每次生成一个时间步数据，并使用前一个预测作为下一个预测的输入。与开环生成不同，这个过程在预测之间不需要任何输入，最适合没有监督的场景。例如，一次性生成输出文本的语言翻译模型。

使用编码器输出初始化LSTM网络的隐藏状态Z．

状态=结构;状态。HiddenState = Z;状态。CellState = 0(大小(Z),“喜欢”, Z);

对于第一次步骤，使用一个开始令牌数组作为解码器的输入。为简单起见，从训练数据的第一个时间步中提取一个开始标记数组。

decoderInput = X (:: 1);

预先分配解码器输出，使其具有大小numClasses——- - - - - -miniBatchSize——- - - - - -sequenceLength具有相同的数据类型dlX,在那里sequenceLength是期望的生成长度，例如，训练目标的长度。对于本例，指定序列长度为16。

sequenceLength = 16;Y = 0 (vocabularySize miniBatchSize sequenceLength,“喜欢”, X);Y = dlarray (Y,“认知行为治疗”）;

方法预测序列的下一个时间步modelDecoder函数。在每次预测之后，找到解码器输出的最大值对应的指标，并使用这些指标作为下一个时间步的解码器输入。

为t = 1:sequenceLength [Y(:，:，t)， state] = modelDecoder(parameters,decoderInput,state);[~, idx] = max (Y (:,:, t));decoderInput = idx;结束

输出是vocabularySize——- - - - - -miniBatchSize——- - - - - -sequenceLength数组中。

大小(Y)

ans =1×33595 32 16

此代码片段显示了在模型梯度函数中执行闭环生成的示例。

函数(损失,梯度)= modelLoss(参数X, sequenceLengths)%编码输入。Z = modelEncoder(参数X, sequenceLengths);初始化LSTM状态。状态=结构;状态。HiddenState = Z;状态。CellState = 0(大小(Z),“喜欢”, Z);初始化解码器输入。decoderInput = X (:: 1);%闭环预测。sequenceLength =大小(X, 3);Y = 0 (numClasses miniBatchSize sequenceLength,“喜欢”, X);为t = 1:sequenceLength [Y(:，:，t)， state] = modelDecoder(parameters,decoderInput,state);[~, idx] = max (Y (:,:, t));decoderInput = idx;结束%计算损失。%……%计算梯度。%……结束

开环生成:教师强迫

当使用闭环生成进行训练时，为序列中的每个步骤预测最可能的单词可能会导致次优结果。例如，在图像字幕工作流中，如果给出大象的图像，解码器预测字幕的第一个单词是“a”，那么预测下一个单词为“elephant”的概率就变得更不可能了，因为短语“a elephant”出现在英语文本中的概率极低。

要帮助网络更快地聚合，您可以使用老师要求:使用目标值作为解码器的输入，而不是前面的预测。使用教师强制可以帮助网络从序列的后期时间步中学习特征，而不必等待网络正确生成序列的早期时间步。

要执行教师强迫，使用modelEncoder直接使用目标序列作为输入函数。

使用编码器输出初始化LSTM网络的隐藏状态Z．

状态=结构;状态。HiddenState = Z;状态。CellState = 0(大小(Z),“喜欢”, Z);

使用目标序列作为输入进行预测。

Y = modelDecoder(参数X,状态);

输出是vocabularySize——- - - - - -miniBatchSize——- - - - - -sequenceLength数组,sequenceLength是输入序列的长度。

大小(Y)

ans =1×33595 32 14

此代码片段显示了在模型梯度函数中执行教师强制的示例。

函数(损失,梯度)= modelLoss(参数X, sequenceLengths)%编码输入。Z = modelEncoder(参数X);初始化LSTM状态。状态=结构;状态。HiddenState = Z;状态。CellState = 0(大小(Z),“喜欢”, Z);%老师强迫。Y = modelDecoder(参数X,状态);%计算损失。%……%计算梯度。%……结束

译码器模型函数

的modelDecoder函数，以模型参数、词索引序列和网络状态为输入，返回解码后的序列。

因为lstm函数是有状态(当给定一个时间序列作为输入时，函数在每个时间步之间传播和更新状态)和嵌入而且fullyconnect函数在默认情况下是时间分布的(当给定一个时间序列作为输入时，函数独立地对每个时间步进行操作)modelDecoder函数支持序列和单时间步输入。

函数[Y,状态]= modelDecoder(参数X,状态)%嵌入。重量= parameters.emb.Weights;X =嵌入(X,重量);% LSTM。inputWeights = parameters.lstmDecoder.InputWeights;recurrentWeights = parameters.lstmDecoder.RecurrentWeights;偏见= parameters.lstmDecoder.Bias;hiddenState = state.HiddenState;cellState = state.CellState;[Y, hiddenState, cellState] = lstm (X, hiddenState cellState,.．.inputWeights recurrentWeights,偏差);状态。HiddenState = HiddenState;状态。CellState = CellState;%完全连接。重量= parameters.fcDecoder.Weights;偏见= parameters.fcDecoder.Bias;Y = fullyconnect (Y,重量,偏差);结束