请别再把深度学习与机器学习混为一谈了！

卷积神经网络(CNN)常被用于机器视觉等应用之中。该网络通常使用卷积、池化、ReLU、全连接、以及丢失层来模拟视觉的皮层。其中，卷积层主要是对于许多小的重叠区域进行积分。池化层执行的是一种非线性的下采样(down-sampling)形式。ReLU层用到了非饱和激活函数f(x) = max(0,x)。在一个完全连接的层级中，神经元与前一层的所有激活都有联系。丢失层主要负责计算网络训练如何“惩罚”那些预测标签和真实标签之间的偏差，使用Softmax或交叉熵(cross-entropy)损失函数来进行分类，或使用欧式(Euclidean)损失函数进行回归。

递归神经网络常被用于自然语言处理(NLP)、序列处理、长短时记忆(LSTM)网络、基于注意力的神经网络。在前馈神经网络中，信息通过隐藏层从输入流向输出。这有效地限制了该网络一次性只能处理一个状态。

在递归神经网络(RNN)中，信息通过反复循环，让网络只记住最近的一次输出，以便对序列和时序进行分析。当然，RNN存在着两个常见的问题：爆炸性的渐变(我们很容易通过夹持来修复)和消失的渐变(不太容易修复)。

在LSTMs中，该网络能够用forgetting和gating来修改以前信息的权重，并记住它们。通过此类长、短期记忆，该网络解决了梯度消失的问题。同时，LSTMs也可以处理数百个过去输入的序列。

注意力模块是一些将权重应用到输入向量上的通用门。它的分层神经注意编码器(hierarchical neural attention encoder)使用多层注意模块，来处理成千上万的过去的输入。

（编辑：西安站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!