给人工智能降点温：深度学习不是万能良药

模型可解释性的极端情况是当我们试图建立一个机械模型，即实际捕捉数据背后现象的模型。一个好的例子包括试图猜测两个分子（例如药物、蛋白质、核酸等）是否在特定的细胞环境中相互产生影响，或者假设特定的营销策略是否对销售产生实际的影响。在这个领域，根据专家意见，没有什么可以击败老式的贝叶斯方法，它们是我们表示并推断因果关系的最好方式。Vicarious 有一些很好的最新研究成果，说明为什么这个更有原则性的方法在视频游戏任务中比深度学习表现得更好。

学习“非结构化”特征

这可能是具有争议性的。我发现深度学习擅长的一个领域是为特定任务找到有用的数据表示。一个很好的例子就是上述的词语嵌入。自然语言具有丰富而复杂的结构，与“上下文感知”（context-aware）网络相近似：每个单词都可以通过向量来表示，而这个向量可以编码其经常出现的文本。在 NLP 任务中使用在大型语料库中学习的单词嵌入，有时可以在另一个语料库的特定任务中提升效果。然而，如果所讨论的语料库是完全非结构化的，它可能不会起到任何作用。

例如，假设你正在通过查看关键字的非结构化列表来对对象进行分类，由于关键字不是在任何特定结构中都会使用的（比如在一个句子中），所以单词嵌入不会对这些情况有太大帮助。在这种情况下，数据是一个真正的“词袋”（bag of words），这种表示很有可能足以满足任务所需。与此相反的是，如果你使用预训练的话，单词嵌入并不是那么耗费时力，而且可以更好地捕获关键字的相似度。不过，我还是宁愿从“词袋”表示开始，看看能否得到很好的预测结果。毕竟，这个“词袋”的每个维度都比对应的词嵌入槽更容易解读。

深度学习是未来

深度学习目前非常火爆，资金充足，并且发展异常迅速。当你还在阅读会议上发表的论文时，有可能已经有两、三种新版本可以超越它了。这给我上述列出的几点提出了很大的挑战：深度学习在不久的将来可能在这些情景中是非常有用的。用于解释图像和离散序列的深度学习模型的工具越来越好。最近推出的软件，如 Edward 将贝叶斯建模和深度网络框架结合，能够量化神经网络参数的不确定性，以及通过概率编程和自动变分推理进行简易贝叶斯推理。从长远来看，可能会有一个简化的建模库，能够给出深度网络具有的显著属性，从而减少需要尝试的参数空间。所以要不断更新你的 arXiv 阅读内容，这篇博文的内容或许一两个月内也会过时。

Edward 通过将概率规划与 tensorflow 结合，将深度学习和贝叶斯的模型考虑在内。

（编辑：西安站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!