直接开源，随便试用。

出 的公司也出语言大模型了，效果还挺好。本周三， 的发布引来了科技圈的关注。

AI 是近期势头正盛的创业公司，因为开源的 AI 画图工具 而饱受好评。在周三的发布中，该公司宣布其语言大模型现已可供开发人员在 上使用和改编。

与业内标杆 一样， 旨在高效地生成文本和代码。它在名为 Pile 的开源数据集的更大版本上进行训练，其中包含来自各种来源的信息，包括维基百科、Stack 和 ，共 22 个数据集，容量达到 825GB，1.5 万亿个 token。

AI 表示， 模型目前可用版本的参数在 30 亿到 70 亿之间，未来将有 15 亿到 650 亿范围的多种参数模型可用。

项目链接：

根据目前人们的测试，如果跑 7B 模型（8 bit），需要用到 12GB 的显存。

AI 也放出了一些 的问答示例：

基于 AI 此前与非营利组织 合作开发的开源语言模型，包括 GPT-J、GPT-NeoX 和 ，新模型面向尽可能大的用户群。此前在 上， AI 通过多种方式提供其文本到图像 AI 的技术，包括公开演示、软件测试版和模型的完整下载，也允许开发人员使用其工具并进行各种集成。

相比 的封闭， AI 一直把自身定位为 AI 研究社区的一员，我们大概率会在 上看到和上月发布的 Meta 开源 LLaMa 语言模型同样的情况。大量基于原版模型的算法可能会出现，在较小模型体量之上实现很好的效果。

的微调版聊天界面。

此外，现在每个人都可以尝试在 Face 上托管的 微调聊天模型上和 AI 进行对话：

和所有语言大模型一样， 模型仍然存在「幻觉」问题，如果你尝试问它如何制作花生酱三明治， 会给出一个非常复杂且荒谬的食谱。它还建议人们在慰问卡上添加一张「有趣的图画」。

AI 警告说，虽然它使用的数据集应该有助于「将基础语言模型引导到『更安全』的文本分布中，但并不是所有的偏见和毒性都可以通过微调来减轻。

现在 模型已在 存储库中上线。 AI 表示将在不久的将来发布一份完整的技术报告，此外还将启动众包 RLHF 计划，并与 Open 等社区合作，为 AI 聊天助手创建一个开源数据集。

参考内容：