2018年最具影响力的20篇数据科学研究论文，盘它！

批量归一化(BN)是深度学习开发中的里程碑技术，它使得各种网络的训练成为了可能。但是，沿批量维度进行归一化会带来一些问题：当批量大小变小时，由于批次统计估计不准确，BN的误差会迅速增加。这限制了BN在训练大型模型以及计算机视觉任务(包括检测、分割视频)中的使用，因为这些任务需要的是受内存消耗限制的小批量。本文由Facebook AI研究人员(FAIR)提出，将Group Normalization(GN)作为BN的简单替代方案。GN将通道分成群组，并在每组内计算标准化的均值和方差。GN的计算与批量大小无关，并且其准确性在各种批量大小中都是稳定的。

下载链接：https://arxiv.org/pdf/1803.08494.pdf

平均参数比重能带来更广泛的优化和更好的概括能力

深度神经网络的训练一般通过使用随机梯度陡降(SGD)变量和递减学习率来优化一个损失函数，直至其收敛。这篇论文指出，对SGD曲线上的多个点取简单平均数，并使用周期波动或恒定的学习率比传统训练方式有更好的概括能力。这篇论文还展示了，这个随机平均参数比重(SWA)过程比SGD有更广泛的优化能力，仅用一个模型就达到了之前快速集合法的效果。

下载链接：https://arxiv.org/pdf/1803.05407.pdf

对基于神经网络进行文本总结方法的调查

自动总结归纳文本，或者说在保留主要含义的同时压缩文本长度，是自然语言处理(NLP)领域的一个重要研究范畴。这篇论文对近来基于神经网络的模型在自动文本总结方面进行了研究。作者详细审查了十款最前沿的神经网络摘要器：五款摘要模型，以及五款提炼模型。

下载链接：https://arxiv.org/pdf/1804.04589.pdf

神经网络风格传输的回顾

Gatys等人在2015年“针对艺术风格的神经网络算法”这篇开创性著作中，展示了卷积神经网络(CNN) 能够分离和重组图片的内容和风格，在生成艺术图像上表现出了强大的能力。这个使用CNN来渲染不同风格的内容图像被称作神经网络风格传输(NST)。此后，NST在学术著作和工业应用上都很是热门，受到越来越多的关注，也产生了很多种致力改善或者扩展原有NST算法的方法。这篇论文对NST目前的发展状况提供了概览，也对未来研究提出了一系列问题。

下载链接：https://arxiv.org/pdf/1705.04058.pdf

（编辑：西安站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!