国内首次AI大模型众测结果揭晓:累计发现各类安全漏洞281个
国内首次AI大模型众测结果揭晓:含腾讯阿里百度智谱等公司产品,累计发现各类安全漏洞281个
IT之家 9 月 17 日消息,随着 AI 应用场景的不断扩展,新的漏洞和攻击手法将不断涌现,AI 大模型安全治理工作任重道远,亟需各方共同努力。
昨日,国内首次针对 AI 大模型的实网众测检验结果在第 22 届中国网络安全年会(暨国家网络安全宣传周网络安全协同防御分论坛)重磅揭晓。
IT之家注:本次活动由中央网信办网络安全协调局指导,国家计算机网络应急技术处理协调中心主办,网络安全众测平台、国家网络安全人才与创新基地提供技术和环境支持。
据官方介绍,此次活动共动员 559 名白帽子,涵盖网安企业专业人才、科研院校师生以及社会白帽子。他们从外部攻击者的视角,对大模型进行了多维度实战化测试,取得了丰富的测试成果。
测试产品中既有基础大模型产品,也有垂域大模型产品,还有智能体、模型开发平台等相关应用产品,其中既包含单模态大模型,也涵盖多模态大模型,具有较广泛的代表性。
据介绍,本次活动对国内 15 款大模型及应用产品进行了漏洞测试;累计发现各类安全漏洞 281 个,其中大模型特有漏洞 177 个,占比超过 60%。这一数据充分表明,当前 AI 大模型产品面临着大量传统安全领域之外的新兴安全风险。
活动中发现的典型漏洞风险包括:一是部分产品存在不当输出类漏洞且危害严重;二是信息泄露类漏洞多发,存在较大安全隐患;三是提示注入类漏洞普遍,是大模型最常见漏洞风险;四是部分大模型产品针对无限制消耗类攻击的防护措施有待加强;五是传统安全漏洞依然普遍存在,危害不容忽视。鉴于 AI 大模型产品普遍用户量大、使用率高,若上述漏洞被恶意攻击者利用,将对国内 AI 大模型产品生态造成较严重的影响。
在参与测试的主流大模型产品中,腾讯公司混元大模型、百度公司文心一言、阿里巴巴通义 App、智谱华章公司智谱清言等发现的漏洞风险较少,体现了较高的安全防护水平。
另外,本次活动涌现出梁宏宇、马宝新、刘铭等一批表现突出的优秀白帽子。本次活动测试对象主要是实时在线运行的 AI 大模型及应用产品,在产品厂商的防护下,各位白帽子能够挖掘出高危甚至严重等级的漏洞,说明他们有着出众的能力并付出了艰辛的努力。
官方还提出了四点 AI 大模型安全治理工作要求:
一是针对大模型面临的各类漏洞风险,需持续加强安全防护措施。
二是加快制定 AI 漏洞分类分级标准,并按应用场景划分风险等级。
三是通过众测模式广泛汇聚社会白帽力量,构筑 AI 共治生态。
四是加强内生安全治理,将安全融入到 AI 系统全生命周期,从源头筑牢安全基石。
(来源:新浪科技)