零一万物宣布开源发布大模型 Yi-34B 李开复:已启动100B千亿参数模型的训练

2023年11月06日,16时45分46秒 科技新知 阅读 18 views 次

【网易科技11月6日报道】今日,零一万物创始人及CEO李开复博士带队创办的AI 2.0公司零一万物,宣布开源发布首款预训练大模型 Yi-34B。零一万物此次开源发布的Yi系列模型,包含34B和6B两个版本。

零一万物宣布开源发布大模型 Yi-34B   李开复:已启动100B千亿参数模型的训练

据了解,在 “MMLU”、BBH等评测上,Yi-34B 表现较好,但数学和代码评测表现略逊GPT模型。

零一万物宣布开源发布大模型 Yi-34B   李开复:已启动100B千亿参数模型的训练

据介绍,此次开源的Yi-34B模型,将发布可支持200K 超长上下文窗口(context window)版本,可以处理约40万汉字超长文本输入。对比大模型标杆GPT-4,在CMMLU、E-Eval、Gaokao 三个主要的中文指标上,作为国产大模型的Yi-34B 能更好地满足国内市场需求。

零一万物宣布开源发布大模型 Yi-34B   李开复:已启动100B千亿参数模型的训练

目前,Yi系列模型已在 Hugging Face、ModelScope、GitHub 三大全球开源社区平台上线,同时开放商用申请,给开发者在使用LLM的过程中提供更多选择。

据悉,本次开源的基座模型包括200K上下文窗口的基座模型,广大开发者可以基于基座模型进行微调,GitHub 01Yi 开源网页上已经提供了简单的微调代码,同时模型和主流语言模型微调框架兼容,开发者可以自行进行适配。

在 Yi 开源模型的全球首发日,李开复也宣布,在完成 Yi-34B 预训练的同时,已经旋即启动下一个千亿参数模型的训练。“零一万物的数据处理管线、算法研究、实验平台、GPU 资源和 AI Infra 都已经准备好,我们的动作会越来越快”。李开复表示。(沈伊)

(来源:网易科技)

标签:


用户登录