长短期记忆(LSTM)

长短期记忆网络是一种循环神经网络(RNN)．lstm主要用于学习、处理和分类顺序数据因为这些网络可以学习数据时间步长之间的长期依赖关系。常见的LSTM应用包括情感分析、语言建模、语音识别和视频分析。

LSTM应用和示例

下面的例子使用MATLAB^®而且深度学习工具箱™将LSTM应用于特定的应用。初学者可以通过下面这个简单的例子开始使用LSTM网络:使用LSTMs进行时间序列预测．

RNN和LSTM的技术特点

LSTM网络是RNN体系结构的一种特殊形式。两者之间的区别

架构和lstm的优势将在本节中重点介绍。

递归神经网络的基本结构。

在实践中，简单的rnn学习长期依赖关系的能力是有限的。rnn通常通过反向传播进行训练，其中它们可能会遇到“消失”或“爆炸”的梯度问题。这些问题导致网络权重变得非常小或非常大，限制了需要网络学习长期关系的应用程序的有效性。

为了克服这个问题，LSTM网络使用额外的门来控制隐藏单元中的哪些信息作为输出导出到下一个隐藏状态。额外的门允许网络更有效地学习数据中的长期关系。LSTM网络对时间间隔的敏感性较低，这使得LSTM网络比简单的rnn更适合分析顺序数据。

除了传统rnn中的隐藏状态外，LSTM块的体系结构通常有一个存储单元、输入门、输出门和遗忘门，如下所示。

输入门的权重和偏置控制新值流入单元的程度。类似地，遗忘门和输出门的权重和偏差分别控制了一个值在单元格中保留的程度，以及单元格中的值用于计算LSTM块的输出激活的程度。

关于LSTM网络的更多详细信息，请参见深度学习工具箱™．