双向长短时记忆循环神经网络详解（Bi-directional LSTM RNN）
|
向后推算（Backward pass）： 双向循环神经网络（BRNN）的向后推算与标准的循环神经网络（RNN）通过时间反向传播相似，除了所有的输出层
3. Long Short-Term Memory (LSTM)循环神经网路（RNN）在工作时一个重要的优点在于，其能够在输入和输出序列之间的映射过程中利用上下文相关信息。然而不幸的是，标准的循环神经网络（RNN）能够存取的上下文信息范围很有限。这个问题就使得隐含层的输入对于网络输出的影响随着网络环路的不断递归而衰退。因此，为了解决这个问题，长短时记忆（LSTM）结构诞生了。与其说长短时记忆是一种循环神经网络，倒不如说是一个加强版的组件被放在了循环神经网络中。具体地说，就是把循环神经网络中隐含层的小圆圈换成长短时记忆的模块。这个模块的样子如下图所示：
关于这个单元的计算过程如下所示： 向前推算（Forward pass）： Input Gate:
通过上图可以观察有哪些连接了 Input Gate: t 时刻外面的输入， t-1 时刻隐含单元的输出， 以及来自 t-1 时刻 Cell 的输出。 累计求和之后进行激活函数的计算就是上面两行式子的含义了。 Forget Gate：
这两行公式的计算意义跟上一个相同，Forget Gate的输入来自于t时刻外面的输入，t-1时刻隐含单元的输出，以及来自t-1时刻Cell的输出。 Cells：
这部分有些复杂，Cell的输入是：t时刻Forget Gate的输出 * t-1时刻Cell的输出 + t时刻Input Gate的输出 * 激活函数计算（t时刻外面的输入 + t-1时刻隐含单元的输出） Output Gate:
这部分就同样好理解了：Output Gate的输入是：t时刻外面的输入，t-1时刻隐含单元的输出以及t时刻Cell单元的输出。 Cell Output:
最后，模块的输出是t时刻Output Gate的输出 * t时刻Cell单元的输出。 向后推算（Forward pass）：
Cell Output:
Output Gate:
Cells：
Forget Gate：
Input Gate:
（编辑：西安站长网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
