逆天的语言AI模型来了！编故事以假乱真，问答翻译写摘要都行

36000年前，史前人类在现代法国一个洞穴的粗糙石灰岩墙壁上勾勒出了一系列令人难以置信的史前野兽……(省略若干字)…………现在，在尖端技术的帮助下，Chauvet-Pont-d’Arc洞穴的艺术作品被复制，创造了世界上最大的复制洞穴。

不错，一段看起来就“很阅读理解”的朴素文风，GPT-2的处理情况如何?还不错：

位于法国南部Vallon-Pont-D’arc的原始遗址是联合国教科文组织世界遗产，是已知最古老、保存最完好的人类装饰洞穴。复制洞穴距离法国南部Vallon-Pont-D’Arc的原址几英里，洞穴内包含14种不同动物的图像，包括长毛犀，猛犸象和大型猫科动物。

第三题，完美✅

怎么样，感受到GPT-2的威力了么?关于GPT-2做题的例子还有很多，文末的OpenAI博客原文，还可以查看更多。

它是怎么做的?

GPT-2，是GPT的“进化版”，最大区别就在于规模大小。OpenAI在官方博客中表示，两者相比，GPT-2的参数扩大10倍，达到了15亿个，数据量扩大10倍，使用了包含800万个网页的数据集，共有40GB。

但在很大程度上，模型还是和GPT一样：

使用语言建模作为训练信号，以无监督的方式在大型数据集上训练一个Transformer，然后在更小的监督数据集上微调这个模型，以帮助它解决特定任务。

△GPT模型

上图左部分，是研究中使用的Transformer架构以及训练目标。右边部分，是针对特定任务进行微调。

将所有结构化输入转换为token序列，由预训练模型处理，然后经过线性+softmax层处理。

就GPT-2而言，它的训练目标很简单：根据所有给定文本中前面的单词，预测下一个单词。

由于训练数据集的多样性，使得这个目标非常简单的模型，具备了解决不同领域各种问题的能力。

一把双刃剑

显然，GPT-2这样一个强大的通用模型，会带来巨大的社会影响。

比如，它能用于开发AI写作助理、更强大的语音助手、提高不同语言之间无监督翻译的性能，甚至构建更好的语音识别系统。

（编辑：西安站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!