长短时记忆(LSTM)

长时间短时记忆网络是一种循环神经网络(RNN)．lstm主要用于学习、处理和序列数据进行分类因为这些网络可以学习数据时间步长的长期依赖性。常见的LSTM应用包括情感分析、语言建模、语音识别和视频分析。

LSTM应用和示例

下面的示例使用MATLAB^®而且深度学习工具箱™在特定的应用中应用LSTM。初学者可以通过以下简单的示例开始使用LSTM网络:利用LSTMs进行时间序列预测．

RNN和LSTM的技术特点

LSTM网络是RNN体系结构的一种特殊形式。两者之间的差异

本节将重点介绍lstm的架构和优点。

循环神经网络的基本结构。

在实践中，简单的rnn学习长期依赖关系的能力是有限的。rnn通常通过反向传播来训练，在反向传播中，它们可能会遇到“消失”或“爆炸”的梯度问题。这些问题导致网络权重变得非常小或非常大，限制了需要网络学习长期关系的应用程序的有效性。

为了克服这个问题，LSTM网络使用额外的门来控制隐藏单元中的哪些信息被导出为输出和下一个隐藏状态。附加的门允许网络更有效地学习数据中的长期关系。LSTM网络对时间间隔的敏感度较低，这使得它比简单的rnn更适合分析顺序数据。

除了传统rnn中的隐藏状态外，LSTM块的体系结构通常还有一个存储单元、输入门、输出门和忘记门，如下所示。

输入门的权重和偏差控制新值流入单元的程度。类似地，遗忘门和输出门的权重和偏差分别控制了一个值在单元格中保留的程度，以及该值在单元格中用于计算LSTM块的输出激活的程度。

关于LSTM网络的更多信息，请参见深度学习工具箱™．