Qwen3技术报告公开!235B模型性能居开源模型榜首
编译 | 金碧辉
编辑 | 程茜
智东西5月14日消息,昨日,阿里巴巴正式发布Qwen3系列大模型技术报告,首次全面公开其新一代开源模型的混合推理架构、训练策略及评测结果。报告显示,旗舰模型Qwen3-235B-A22B在数学(AIME25得分81.5)、代码生成(LiveCodeBench 70.7)等核心评测中超越DeepSeek-R1(671B参数)、Grok-3等国际顶尖模型,并在多语言支持(119种语言)、推理效率(4张H20显卡部署旗舰模型)及任务适应性(动态切换快/慢思考模式)上实现突破。
▲图源阿里巴Qwen3系列大模型技术报告
4月29日,阿里巴巴正式发布新一代通义千问大模型Qwen3,包含6款稠密模型和2款MoE模型,参数规模覆盖0.6B至235B。其旗舰模型Qwen3-235B-A22B以22B激活参数实现235B总参数量,在编程、数学推理等基准测试中超越DeepSeek-R1等全球顶尖模型。
▲Qwen3-235B-A22B-Base与其他具有代表性的强大开源基准模型的比较
Qwen3系列的旗舰模型Qwen3-235B-A22B于今年5月6日登顶国际权威大模型测评榜LiveBench开源大模型性能的榜首。
▲图源5月6日LiveBench榜单官网截图
技术报告地址:https://github.com/QwenLM/Qwen3/blob/main/Qwen3_Technical_Report.pdf
一、双系统推理架构,日常对话响应速度提升60%,算力消耗降低40%
Qwen3系列模型核心创新为双系统推理架构。面对数学证明、代码生成等复杂任务,Qwen3系列模型启动“慢思考”深度推理模块,Qwen3系列模型支持38K token动态思考预算,进行多步骤逻辑链分析;日常对话场景下,Qwen3系列模型以“快思考”模式激活20%参数,响应速度提升60%,算力消耗降低40%。
▲Qwen3-235B-A22B在思考预算方面的性能
Qwen3系列模型的后训练流程围绕两大核心目标设计:其一为“思考控制”,通过集成“非思考”与“思考”两种模式,用户可灵活选择模型是否进行推理,并能通过指定token预算控制思考深度;其二是“慢思考”,旨在简化和优化轻量级模型的后训练过程,Qwen3系列模型借助大规模模型的知识,大幅降低构建小规模模型所需的计算成本与开发工作量。
▲Qwen3系列模型的后训练流程
此外,Qwen3系列模型还集成视觉(Qwen3-VL)、音频(Qwen3-Audio)模块,可实现医学影像分析等跨模态任务。
二、Qwen3-235B-A22B在数学、代码评测中超越DeepSeek-R1、Grok-3-Beta
旗舰模型Qwen3-235B-A22B在多项评测中成绩优异。Qwen3-235B-A22B数学推理的AIME25奥数测评中获81.5分,刷新开源模型纪录,远超DeepSeek-R1等顶尖模型。
▲AIME25在数学推理方面的奥数测评成绩
旗舰模型Qwen3-235B-A22B在代码生成的LiveCodeBench评测中得分超70分,超越Grok-3-Beta和DeepSeek-R1等主流模型,Qwen3-235B-A22B的代码细节完善且推理耗时更短;多轮对话中Qwen3-235B-A22B能精准识别并完成复杂指令,如扮演职业金融分析师并以特定风格分析问题,给出适配回答。
▲AIME25在代码生成方面的测评成绩
三、4张卡跑235B模型,Qwen3系列模型多项数据碾压
Qwen3系列模型训练数据量飙升至36万亿token,覆盖119种语言,数据构成丰富多元,其中包含合成数据以及从PDF文档经OCR提取的内容。Qwen3系列模型训练流程采用四阶段后训练模式。
先是长思维链冷启动,Qwen3系列模型借助多样的长思维链数据对模型微调,为其处理复杂任务,如数学、编程、逻辑推理等奠定基础;接着Qwen3系列模型开展强化学习优化,运用基于规则的奖励机制,大力提升模型在面对复杂任务时探索并寻求最佳答案的推理能力;随后Qwen3系列模型进行思维模式融合,让模型能依据任务特性,在“思考模式”与“非思考模式”间自如切换;最后Qwen3系列模型通过对20多个常见任务实施强化学习微调,完成通用任务校准,全面提升模型的推理与指令遵循水平。
在硬件与效率优化层面,MoE模型采用动态激活专家策略,默认配置下专家池规模可达128个,每处理一个token会激活8个专家,搭配负载均衡算法,保障了训练稳定性。在硬件协同上,MoE模型仅需4张H20加速卡,便能实现235B旗舰模型的部署。
Qwen3系列模型在参数效率、推理成本、多语言支持及AI Agent开发等多个维度展现出显著优势。
参数效率上,30B MoE模型激活参数仅3B,性能却超越上代32B Dense模型;推理成本方面,以15B-A2B模型为例,在英伟达A100显卡上,30B MoE模型单次推理耗时较同等性能14B稠密模型降低42%,30B MoE模型显存占用从28GB降至18GB,吞吐量提升至1.2倍,实现消费级显卡部署高性能模型的效果。
多语言支持上,Qwen3系列模型覆盖全球90%以上人口的119种语言和方言;AI Agent开发上,Qwen3系列模型原生支持MCP协议,集成Qwen-Agent框架,Qwen3系列模型的工具调用能力在BFCL评测中以70.8分超越OpenAI-o1。
结语;Qwen3系列模型正在缩小与顶尖闭源产品的差距
Qwen3系列模型通过混合推理架构与高效训练策略,在性能、成本、多语言支持等维度树立开源模型新标杆。其动态资源分配机制(如思考预算控制)为企业节省75%算力成本,而119种语言覆盖能力为全球化业务提供底层支持。
Qwen3系列模型在多项评测中表现突出,其混合推理架构与高效训练策略展现强劲实力。尽管在实际场景应用中,如代码生成与创意写作领域,仍需进一步验证效果,Qwen3系列模型与顶尖闭源产品的差距正逐步缩小。
(来源:新浪科技)