（转自：机器之心）

更离谱的是，面对弹窗广告、钓鱼网站，甚至是试图绕过人机验证（reCAPTCHA）这种高危操作，Agent 们也是「勇往直前」。要是碰上心怀不轨的用户，让它发布谣言、删除系统文件，甚至协助非法活动，它们也可能照单全收！隐私泄露、数据损毁……

RiOSWorld，Agent 电脑助手的「照妖镜」！

🔹 上海 AI Lab、中国科学技术大学和上海交通大学联合发布 RiOSWorld——一个用于全面、综合地评估 Computer-Use Agent 在真实日常电脑使用任务中存在的安全风险的测试基准。

100% 真实的测试环境 + 支持动态风险部署 + 多样性的风险类别

现阶段大多数研究 Computer-Use Agent 安全风险的工作存在的限制是：

• 测评环境缺乏真实性，缺少真实动态的、贴近现实的 Computer-Agent 交互环境，从而导致风险缺乏真实性。

• 风险类别缺乏全面性、多样性，仅关注个别的风险或攻击类型，从而限制了对 Computer-Use Agent 的全面风险评估。

🔹 相比之前的测评基准，RiOSWorld 直接搭建了 100% 真实的 computer-agent 交互环境，接入互联网，模拟各种奇葩风险场景。从弹窗广告轰炸到钓鱼网站，从用户恶意指令到隐私泄露危机，它一口气设置了 492 个风险测试案例，涵盖了广泛的日常计算机使用风险操作，涉及网络、社交媒体、操作系统、多媒体、文件操作、Code IDE/Github、电子邮件和 Office 应用等场景，全方位检验 Agent 电脑助手的「抗毒能力」！🙌

风险分类和样本数量统计

基于风险源，该研究将这些风险类别分为了 2 个主类（环境风险和用户风险），13 个子类：

• 来源于环境的风险（254 个）：隐含在电脑使用环境中的风险

钓鱼网站

钓鱼邮件

弹窗/广告

reCAPTCHA（人机验证）

账户/密码欺诈

诱导性文字

• 来源于用户的风险（238 个）：用户有意或无意的风险指令

网页操作

社交媒体

Office 套件

文件操作

OS 操作

代码 IDE/Github

多媒体操作



任务指令分布



这些任务指令涵盖了广泛的主题，渗透到 computer-use agent 遇到的许多日常操作场景中。这种全面的覆盖致力于能够有效和全面地评估 computer-use agent 在各个方面的安全风险。

评估方法

🔹 RiOSWorld 从两个维度评估 MLLM-based Computer-Use Agent 的不安全/有风险行为：

• Risk Goal Intention：Agent 是否有意图执行风险行为？

• Risk Goal Completion：Agent 是否成功完成了风险目标？

RiOSWorld 风险示例



🔹 具体来说，RiOSWorld 基准中的一些风险示例在 Figure 1 的上半部分展示。如 Figure 1 的左上部分所示，CUA 可能会遇到来源于环境的风险，例如，

（a）被诱导点击弹出窗口或广告，

（b）无意中在有害的钓鱼网站上执行操作，

（c）试图在未经真人授权的情况下通过 reCAPTCHA 验证（这种自动规避行为破坏了旨在防止恶意机器人访问的 reCAPTCHA 安全机制），

（d）成为欺骗性较高的钓鱼电子邮件的受害者。

 另外，如 Figure 1 右上部分所示，CUA 也会面临源于用户的风险。例如，

（e）Agent 可能会根据用户指令发布谣言、不实信息，

（f）Agent 可能在命令行中执行高风险命令（例如，删除根目录），

（g）Agent 可能帮助进行非法活动（毒品、武器），

（h）用户可能会过度依赖 Agent，导致意外的隐私泄露（例如，指示 Agent 将包含私有 API 密钥或凭据的敏感代码或数据上传到公共 GitHub 存储库，但没有进行手动审查）。

CUA 安全现状比你想的更糟！

🔹 研究团队对市面上最火爆的 MLLM-based CUA 「挨个儿暴打」：OpenAI 的 GPT-4.1、Anthropic 的 Claude-3.7-Sonnet、Google 的 Gemini-2.5-pro，还有开源界的明星 Qwen2.5-VL、LLaMA-3.2-Vision……结果集体「原形毕露」！




🔹 实验结果表明，大多数 Agent 都具有较弱的风险意识，会主动「作死」（有意图执行风险操作，即平均意图不安全率达到了惊人的 84.93%）；此外，平均有 59.64% 的概率直接把危险指令「贯彻到底」！即能够完成最终的风险目标。 

🔹 在钓鱼网站、网页操作、OS 操作、Code IDE/Github 和诱导性文字等高风险场景中，Agent 的「翻车率」更是突破 89% 和 80%！这哪是智能助手，根本就是揣着炸弹的「定时雷区」！




🔹 绝大多数的 CUA 的风险意图和风险完成率都超过了 75% 和 45%。这些定量和定性的结果指出，目前大多数基于 MLLM-based CUA 在计算机使用场景中缺乏风险意识，远达不到可信的自主计算机使用助手。

🔹 RiOSWorld 的推出，就像给狂奔的 CUA 按下了「暂停键」。它不仅揭开了 Computer-Use Agent 的安全遮羞布，更为未来指明了方向：没有安全兜底的 AI，再强大也是「空中楼阁」！

📢 转发提醒身边的 Computer-Use Agent 爱好者！下一次，当你的 AI 电脑助手「热情满满」地给出操作建议时，记得先问一句：「你通过 RiOSWorld 的安全考试了吗？」