很多研究已表明，像 ChatGPT 这样的大型语言模型（LLM）容易受到越狱攻击。很多教程告诉我们，一些特殊的 Prompt 可以欺骗 LLM 生成一些规则内不允许的内容，甚至是有害内容（例如 bomb 制造说明）。这种方法被称为「大模型越狱」。

但是在人们一直以来的认知上，这些攻击技巧仅限于大模型生成文本。在卡耐基梅隆大学（CMU）最近的一篇博文中，研究人员考虑了攻击大模型控制的机器人的可能性。

^{研究人员破解了 Unitree Go2 机器狗。}

如果具身智能也遭越狱，机器人可能会被欺骗，在现实世界中造成人身伤害。

• 论文：https://arxiv.org/abs/2410.13691
• 项目宣传页：https://robopair.org/

AI 机器人的科学与科幻

人工智能和机器人的形象在科幻故事中一直被反复描绘。只需看看《星球大战》系列中的 R2-D2、机器人总动员的 WALL・E 或《变形金刚》的擎天柱。这些角色既是人类的捍卫者，也是懂事听话的助手，机器人的 AI 被叙述成人类仁慈、善意的伙伴。

在现实世界，AI 技术的发展已经历了几十年，具有人类水平智能的 AI 距离现在可能只有五年时间，而人们对未来黑客帝国般的恐惧却不容忽视。我们或许会惊讶地发现，机器人不再是幻想中的刻板角色，而是已在悄悄塑造我们周围的世界。你肯定已经见识过这些机器人。

首先不得不提的自然是波士顿动力。他们的机器狗 Spot 的零售价约为 7.5 万美元，已在市场上销售，并被 SpaceX、纽约警察局、雪佛龙等多家公司进行了部署和落地。机器狗在开发的过程中曾经因为演示开门、跳舞以及在建筑工地四处奔跑而持续出名，人们经常认为这是手动操作的结果，而不是自主 AI。

但在 2023 年，这一切都改变了。现在，Spot 与 OpenAI 的 ChatGPT 语言模型集成，可以直接通过语音命令进行通信，已经确定能够以高度自主的方式运行。

如果这机器狗没有引起科幻电影《Ex Machina》中那种存在主义焦虑，那就看看另一个明星机器人公司的 Figure o1 吧。这个类人机器人可以行走、说话、操纵设备，更广泛地说，可以帮助人们完成日常任务。他最近一段时间已经展示了在汽车工厂、咖啡店和包装仓库中的初步用例。

除了拟人化机器人，去年起，端到端的 AI 还被应用于自动驾驶汽车、全自动厨房和机器人辅助手术等各种应用。这一系列人工智能机器人的推出及其功能的加速发展。让人不得不思考一个问题：是什么引发了这一非凡的创新？

大型语言模型

人工智能的下一个大事件

几十年来，研究人员和从业者一直尝试将机器学习领域的最新技术嵌入到最先进的机器人身上。从用于处理自动驾驶汽车中的图像和视频的计算机视觉模型，到指导机器人如何采取分步行动的强化学习方法，学术算法在与现实世界用例相遇之前往往没有多少延迟。

毕竟，实用的智能机器人是我们无比期待的技术。

搅动人工智能狂潮的下一个重大发展就是大型语言模型 LLM。当前较先进的大模型，包括 OpenAI 的 ChatGPT 和谷歌的 Gemini，都是在大量数据（包括图像、文本和音频）上进行训练的，以理解和生成高质量的文本。用户很快就注意到，这些模型通常被称为生成式 AI（缩写为「GenAI」），它们提供了丰富的功能。

LLM 可以提供个性化的旅行建议和预订，根据冰箱内容的图片制作食谱，并在几分钟内生成自定义网站。

^{LLM 控制的机器人可以通过用户提示直接控制。}

从表面上看，LLM 为机器人专家提供了一种极具吸引力的工具。虽然机器人传统上是由液压、电机和操纵杆控制的，但 LLM 的文本处理能力为直接通过语音命令控制机器人提供了可能。从基础层面，机器人可以使用 LLM 将通过语音或文本命令形式的用户提示转换为可执行代码。

最近一系列学术实验室开发的流行机器人算法包括 Eureka（可生成机器人特定计划）和 RT-2（可将相机图像转换为机器人动作）。

所有这些进展都将 LLM 控制的机器人直接带给了消费者。例如，前面提到的 Untree Go2 的商用价格为 3500 美元，可直接连接到智能手机应用程序，该应用程序通过 OpenAI 的 GPT-3.5 实现一定的机器人控制。尽管这种新的机器人控制方法令人兴奋，但正如科幻小说《仿生人会梦见电子羊吗？》所预示的那样，人工智能机器人也存在显著的风险。

虽然消费级机器人的用例肯定都是无害的，但 Go2 有一个更强力的表亲。Throwflame 公司的 Thermonator，它安装有 ARC 火焰喷射器，可喷射长达 30 英尺的火焰。Thermonator 可通过 Go2 的应用程序进行控制，值得注意的是，它在市场上的售价不到 1 万美元。

这就让我们面临着更严重的问题，有多个报道称，Thermonator 被用于「收集数据、运输货物和进行监视」。还有比刻意使用更加严重的问题。

越狱攻击

大模型的安全问题

让我们退一步想：大模型危及人类的可能性吗？

为了回答这个问题，让我们回顾一下 2023 年夏天。在一系列学术论文中，安全机器学习领域的研究人员发现了许多大模型的漏洞，很多与所谓的越狱攻击有关。

要理解越狱，必须注意的是，大模型通过被称为模型对齐的过程进行训练，以遵循人类的意图和价值观。将 LLM 与人类价值观对齐的目的是确保 LLM 拒绝输出有害内容，例如制造 bomb 的说明。

^{大模型训练时考虑到了避免生成有害内容。}

本质上，大模型的对齐过程与 Google 的安全搜索功能类似，与搜索引擎一样，LLM 旨在管理和过滤有害内容，从而防止这些内容最终到达用户。

对齐失败时会发生什么？不幸的是，众所周知，LLM 与人类价值观的对齐很容易受到一类称为越狱（Jailbreaking）的攻击。越狱涉及对输入提示进行微小修改，以欺骗 LLM 生成有害内容。在下面的示例中，在上面显示的提示末尾添加精心挑选但看起来随机的字符会导致 LLM 输出 bomb 制造指令。

^{LLM 可以被破解。图片来自《Universal and Transferable Adversarial Attacks on Aligned Language Models》。}

众所周知，越狱攻击几乎影响到所有已上线的 LLM，既适用于开源模型，也适用于隐藏在 API 背后的专有模型。此外，研究人员还通过实验表明，越狱攻击可以扩展到从经过训练以生成视觉媒体的模型中获取有害图像和视频。

破解大模型控制的机器人

到目前为止，越狱攻击造成的危害主要局限于 LLM 驱动的聊天机器人。鉴于此类攻击的大部分需求也可以通过有针对性的互联网搜索获得，更明显的危害尚未影响到 LLM 的下游应用。然而，考虑到人工智能和机器人技术的物理性质，我们显然可以认为，在机器人等下游应用中评估 LLM 的安全性更为重要。这引发了以下问题：LLM 控制的机器人是否可以越狱以在物理世界中执行有害行为？

预印本论文《Jailbreaking LLM-Controlled Robots》对这个问题给出了肯定的回答：越狱 LLM 控制的机器人不仅是可能的 —— 而且非常容易。

新发现以及 CMU 即将开源的代码，或许将成为避免未来滥用 AI 机器人的第一步。

机器人越狱漏洞的分类

新的研究将 LLM 控制机器人的漏洞分为三类：白盒、灰盒和黑盒威胁模型。

首先设定一个目标 —— 设计一种适用于任何 LLM 控制机器人的越狱攻击。一个自然而然的起点是对攻击者与使用 LLM 的各种机器人进行交互的方式进行分类。该研究的分类法建立在现有的安全机器学习文献中，它捕获了攻击者在针对 LLM 控制的机器人时可用的访问级别，分为三个广义的威胁模型。

• 白盒。攻击者可以完全访问机器人的 LLM。开源模型就是这种情况，例如在 NVIDIA 的 Dolphins 自动驾驶 LLM。
• 灰盒。攻击者可以部分访问机器人的 LLM。此类系统最近已在 ClearPath Robotics Jackal UGV 轮式机器人上实施。
• 黑盒。攻击者无法访问机器人的 LLM。Unitree Go2 机器狗就是这种情况，它通过云查询 ChatGPT。

鉴于上述 Go2 和 Spot 机器人的广泛部署，该研究将精力集中在设计黑盒攻击上。由于此类攻击也适用于灰盒和白盒形式，因此这是对这些系统进行压力测试的最通用方法。

RoboPAIR：让 LLM 自我对抗

至此，研究问题就变成了：我们能否为 LLM 控制的机器人设计黑盒越狱攻击？和以前一样，我们从现有文献开始入手。

我们回顾一下 2023 年的论文《Jailbreaking Black-Box Large Language Models in Twenty Queries》，该论文介绍了 PAIR（快速自动迭代细化缩写）越狱。本文认为，可以通过让两个 LLM（称为攻击者和目标）相互对抗来越狱基于 LLM 的聊天机器人。这种攻击不仅是黑盒的，而且还被广泛用于对生产级大模型进行压力测试，包括 Anthropic 的 Claude、Meta 的 Llama 和 OpenAI 的 GPT 系列。

^{PAIR 越狱攻击。在每一轮中，攻击者将提示 P 传递给目标，目标生成响应 R。响应由 judge 评分，产生分数 S。}

PAIR 运行用户定义的 K 轮。在每一轮中，攻击者（通常使用 GPT-4）输出一个请求有害内容的提示，然后将其作为输入传递给目标。然后由第三个 LLM（称为 judge）对目标对此提示的响应进行评分。然后，该分数连同攻击者的提示和目标的响应一起传回给攻击者，在下一轮中使用它来提出新的提示。这完成了攻击者、目标和 judge 之间的循环。

PAIR 不适合给机器人进行越狱，原因有二：

• 相关性。PAIR 返回的提示通常要求机器人生成信息（例如教程或历史概述）而不是操作（例如可执行代码）。
• 可操作性。PAIR 返回的提示可能不扎根于物理世界，这意味着它们可能要求机器人执行与周围环境不相容的操作。

由于 PAIR 旨在欺骗聊天机器人生成有害信息，因此它更适合制作一个教程，概述如何假设制造 bomb（例如，以作者的身份）；这与产生动作的目标正交，即执行时导致机器人自己制造 bomb 的代码。此外，即使 PAIR 从机器人的 LLM 中引出代码，通常情况下，这些代码与环境不兼容（例如，由于存在障碍物或障碍物），或者无法在机器人上执行（例如，由于使用不属于机器人 API 的函数）。

这些缺点促使 RoboPAIR 的诞生。RoboPAIR 涉及 PAIR 的两种修改，从而导致更有效的攻击。

^{RoboPAIR 越狱攻击。RoboPAIR 包含一个语法检查器，其目标是确定机器人的 LLM 编写的代码是否可执行。}

第一个修改是将第二个 judge LLM 添加到对抗中，被称之为语法检查器。在这种情况下，为了满足「接地」标准，作者使用语法检查器根据目标描述的操作或代码是否可以在机器人上实现来对目标的响应进行评分。第二个重大变化是引入机器人特定的系统提示。LLM 的系统提示包含指导 LLM 响应中生成的文本的说明。在这里，作者起草攻击者的系统提示以包含机器人的 API 以及有害操作的上下文示例。

实验

现在

基于前述观察，可以得到一个结论：越狱 AI 驱动的机器人不仅可能实现，而且简单得让人震惊。这一发现，对未来的 AI 机器人应用有重要影响。该团队讨论了其中一些要点。

迫切需要机器人防御。该研究结果使得有必要开发抵御越狱攻击的防御技术。尽管现在已有一些保护聊天机器人的防御技术，但它们可能无法泛化用于机器人设置。在机器人应用中，任务非常依赖环境，并且一旦防御失败就可以造成切实的伤害。尤其需要说明的是，目前还不清楚如何为 Unitree Go2 等专有机器人部署防御。因此，有必要使用过滤等技术，为各种使用生成式 AI 的机器人的行为施加严格的物理约束。

上下文相关对齐的未来。在 CMU 的实验中，越狱的出色表现引发了以下问题：像 RoboPAIR 这样的越狱算法是否必要？我们不得不怀疑，许多其他机器人都缺乏对哪怕是最隐蔽的引发有害行为的尝试的鲁棒性。这也许并不奇怪。与聊天机器人相比，如果机器人的路径上有人类，则导致机器人向前行走的命令是有害的；否则，如果没有人，这些动作是良性的。与机器人行为有可能在物理世界中造成更多伤害的事实相比，这一观察结果需要在 LLM 中调整对齐、指令层次结构和代理颠覆。

机器人作为物理、多模态的智能体。大模型安全意的下一个前沿领域被认为是基于 LLM 的智能体的稳健性分析。与聊天机器人越狱的设置不同，其中的目标是获取单一信息，而基于网络的攻击智能体的潜在危害范围要广得多，因为它们能够执行多步骤推理任务。事实上，机器人可以看作是 AI 智能体的物理表现。

然而，与基于网络的智能体相比，机器人可能会造成物理伤害，这使得对严格的安全测试和缓解策略的需求更加迫切，并且需要机器人和 NLP 社区之间进行新的合作。

^{参考内容：https://blog.ml.cmu.edu/2024/10/29/jailbreaking-llm-controlled-robots/}