8种优秀预训练模型大盘点，NLP应用so easy！

GPT-2经过训练，可以用来预测40GB的互联网文本数据中的下一个出现的词。 该框架也是一个基于transformer的模型，而这个模型是基于800万个web页面的数据集来进行训练。他们在网站上发布的结果简直令人震惊，因为该模型能够根据我们输入的几个句子编写出一个完整的故事。看看这个例子：

难以置信，是吧?

开发人员已经发布了一个更小版本的GPT-2，供研究人员和工程师测试。原始模型有15亿个参数——开放源码示例模型有1.17亿个参数。

学习和阅读更多GPT-2有关信息的资源：

• OpenAI的官方博客文章：https://openai.com/blog/better-language-models/
• GPT-2的预训练模型：https://github.com/openai/gpt-2
• 研究论文：https://d4mucfpksywv.cloudfront.net/better-language-models/language-models.pdf

词嵌入(word embedding)模型

我们使用的大多数机器学习和深度学习算法都无法直接处理字符串和纯文本。这些技术要求我们将文本数据转换为数字，然后才能执行任务(例如回归或分类)。

因此简单来说， 词嵌入(word embedding)是文本块，这些文本块被转换成数字以用于执行NLP任务。词嵌入(word embedding)格式通常尝试使用字典将单词映射到向量。

你可以在下面的文章中更深入地了解word embedding、它的不同类型以及如何在数据集中使用它们。如果你不熟悉这个概念，我认为本指南必读：

对词嵌入的直观理解：从计算向量到Word2Vec：

https://www.analyticsvidhya.com/blog/2019/03/pretrained-models-get-started-nlp/

在本节中，我们将介绍NLP的两个最先进的词嵌入(word embedding)。我还提供了教程链接，以便你可以对每个主题有实际的了解。

6. ELMo模型

这个ELMo并不是《芝麻街》里的那个角色，但是这个ELMo(Embeddings from Language Models(语言模型嵌入)的缩写)在构建NLP模型的上下文中非常有用。

（编辑：西安站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!