应该有人敢挑战GPT—3的垄断地位！

应该有人敢挑战GPT—3的垄断地位！

GPT—3自问世以来已经成为最大的AI语言模型之一。

不仅可以为Python深度学习写邮件，写文章，创建网站，甚至生成代码。

最近，一个侏罗纪模型声称能够击败GPT—3。

谁这么有勇气，居然敢喊。

不是侏罗纪公园的恐龙！是侏罗纪—1 Jumbo，还在测试中！

现在，您还可以免费体验它:

除了能够将Python代码转换成Javascript之外，这种语言模型还有什么了不起的。

大胆，但强大

在机器学习中，参数是模型的一部分，从历史训练数据中学习。

一般来说，在语言领域，参数越多，模型越复杂。

侏罗纪—1巨型模型包含1780亿个参数。

突然之间，GPT—3有了30亿个参数！

GPT有5万个词汇项目。

可是，侏罗纪—1可以识别25万个表情，单词和短语。

覆盖范围比包括GPT—3在内的大多数现有型号都大。

侏罗纪—1模型已经过云训练，一个公共服务上有几百个分布式GPU。

Token是一种在自然语言中将文本片段分成更小单元的方法，这些单元可以是单词，字符或单词的一部分。

侏罗纪—1训练数据集有3000亿个token，都是从维基百科，新闻出版物，StackExchange等英文网站编译而来。

模型的训练采用传统的自监测和自回归形式，从公共资源中训练3000亿代币。

在优化程序方面，研究人员对J1—Large和J1—Jumbo分别使用了1.2次10—4和0.6倍，10—4，批量大小为200万和320万代币

每个字节的平均对数概率表明该模型在不同领域的适用性

研究人员说，在几乎所有的语料库中，侏罗纪—1模型都领先于GPT—3。

在小样本学习的测试上，各有输赢，但两个模型的平均分是相等的。

在基准测试中，侏罗纪1号在回答学术和法律问题上的表现与GPT 3号相当，甚至更好。

GPT—3需要11个令牌，而侏罗纪—1只需要4个令牌，大大提高了样本效率。

当然，对于语言模型来说，最难的问题是逻辑和数学。

而侏罗纪—1 Jumbo可以解决两个大数相加这个非常简单的算术问题。

侏罗纪可以解释一个词的意思

面对各种语言模式，侏罗纪—1 Jumbo只能算是后起之秀，并不是什么新奇的模式。

但是和它的前辈类似，如果问题不清楚，大概率的答案不是你想要的。

堪称产品经理的终结者。

即使是自己的人在有偏见时也会战斗

侏罗纪—1模型由AI21实验室开发，将通过AI21实验室的Studio平台提供服务。

开发人员可以在公共测试版中构建应用程序原型，如虚拟代理和聊天机器人。

此外，在公测版中，侏罗纪—1模型和Studio也可以用于解释和总结，例如从产品描述中生成简短的产品名称。

根据内容对新闻进行分类

同时，开发者也可以训练自己的侏罗纪—1模型，甚至只需要50—100个训练实例。

经过培训，可以通过AI21 Studio使用这个自定义模型。

可是，《侏罗纪—1》也面临着其他语言模式的痛点:对性别，种族，宗教的偏见。

由于模型训练数据集在一定程度上存在偏差，训练出来的模型也会学坏。

一些研究人员指出，GPT—3和其他类似语言模型生成的文本可能会强化极端右翼极端主义的意识形态和行为。

侏罗纪模型的输出面临预设场景的问题

有鉴于此，AI2实验室正在限制公共测试版中可以生成的文本量，并打算手动审查每个微调模型。

可是，即使是微调的模型也无法摆脱训练过程中的坏习惯。

就像Open AI的Codex一样，它仍然会生成种族主义或其他令人反感的可执行代码。

虽然是以色列研究人员开发的，但很可能受到训练数据集的影响《侏罗纪—1》似乎比《GPT—3》更歧视犹太人

在偏见和歧视的问题上，所有的模式都是釜底抽薪。

可是，AI21实验室的工程师表示，侏罗纪—1模型的偏差小于GPT—3。