RNN如何知道如何将过去的信息应用到当前的输入?该网络有两组权重,一组用于隐藏状态向量,另一组用于输入。在训练过程中,网络学习输入和隐藏状态的权重。在实现时,输出基于当前输入,以及基于先前输入的隐藏状态。
LSTM
在实践中,简单的rnn在学习长期依赖关系时遇到了一个问题。rnn通常通过反向传播进行训练,在反向传播中,它们可能会遇到“消失”或“爆炸”的梯度问题。这些问题导致网络权重变得非常小或非常大,限制了学习长期关系的有效性。
克服这个问题的一种特殊类型的循环神经网络是长短期记忆(LSTM)网络。LSTM网络使用额外的门来控制隐藏单元中的哪些信息可以进入输出和下一个隐藏状态。这使得网络能够更有效地学习数据中的长期关系。lstm是一种常用的RNN类型。