国产大模型DeepSeek-V3一夜火爆全球，671B的MoE，训练成本仅558万美元

2024年12月27日,12时33分33秒 OpenAI 阅读 76 views 次

今天，一个国产大模型火遍了世界。

打开 X，满眼都是讨论 DeepSeek-V3 的推文，而其中最热门的话题之一是这个参数量高达 671B 的大型语言模型的预训练过程竟然只用了 266.4 万 H800 GPU Hours，再加上上下文扩展与后训练的训练，总共也只有 278.8 H800 GPU Hours。相较之下，Llama 3 系列模型的计算预算则多达 3930 万 H100 GPU Hours—— 如此计算量足可训练 DeepSeek-V3 至少 15 次。

国产大模型DeepSeek-V3一夜火爆全球，671B的MoE，训练成本仅558万美元

虽然相对于其它前沿大模型， DeepSeek-V3 消耗的训练计算量较少，但其性能却足以比肩乃至更优。

据最新发布的 DeepSeek-V3 技术报告，在英语、代码、数学、汉语以及多语言任务上，基础模型 DeepSeek-V3 Base 的表现非常出色，在 AGIEval、CMath、MMMLU-non-English 等一些任务上甚至远远超过其它开源大模型。就算与 GPT-4o 和 Claude 3.5 Sonnet 这两大领先的闭源模型相比，DeepSeek-V3 也毫不逊色，并且在 MATH 500、AIME 2024、Codeforces 上都有明显优势。

DeepSeek-V3 的惊人表现主要是得益于其采用的 MLA（多头隐注意力）和 DeepSeekMoE 架构。此前，这些技术已经在 DeepSeek-V2 上得到了验证，现在也成为了 DeepSeek-V3 实现高效推理和经济训练的基石。

此外，DeepSeek-V3 率先采用了无辅助损失的负载平衡策略，并设定了多 token 预测训练目标，以实现更强大的性能。他们使用的预训练 token 量为 14.8 万亿，然后还进行了监督式微调和强化学习。

正是在这些技术创新的基础上，开源的 DeepSeek-V3 一问世便收获了无数好评。

Meta AI 研究科学家田渊栋对 DeepSeek-V3 各个方向上的进展都大加赞赏。

著名 AI 科学家 Andrej Karpathy 也表示，如果该模型的优良表现能够得到广泛验证，那么这将是资源有限情况下对研究和工程的一次出色展示。

正在创业（Lepton AI）的著名研究者贾扬清也给出了自己的深度评价。他认为 DeepSeek-V3 的诞生标志着我们正式

一	二	三	四	五	六	日
			1	2	3	4
5	6	7	8	9	10	11
12	13	14	15	16	17	18
19	20	21	22	23	24	25
26	27	28	29	30	31

关联资讯:

用户登录