Datawhale干货

作者： 徐强教授团队，香港中文大学

刚过去的这个月，OpenAI 的 Agent 逃出沙箱攻进了 Hugging Face，Anthropic 自查出三起 Claude 越权访问真实系统的事故。两家最顶尖的模型公司，先后被自家的 Agent 上了一课。

在 AI 大模型领域，有一个愈发尖锐的命题正在浮出水面：当大模型和 Agent 顺着 Scaling Law 的惯性一路狂飙，当能力溢出的速度远远快于约束手段的进化时，我们手里能打的牌，还剩下什么？

真正让人后背发凉的，早就不再是 Agent 的智商够不够高。而是它一旦挣脱了“聊天框”的束缚，开始去真实世界“干活”——调用 API、触碰底层数据、和其他 Agent 讨价还价——我们拿什么去制约那双伸向现实世界的“手”？

这就是当前 AI 安全领域最核心的阴影：训练是离线的，而风险是实时的。

试图用离线的 RLHF（人类反馈强化学习）去兜底一个复杂智能体的实时动态风险，无异于拿一本交通规则手册，试图逼停一辆已经失控冲上高速公路的汽车。

面对这种局面，我们需要的不是在模型外围修修补补，而是一次底层的范式转移。今天，我们将向大家全面拆解香港中文大学最新开源的一个全新系统级尝试：ArbiterOS。如果未来的硅基社会需要一部“宪法”和底层的“警察局”，那这个治理内核，到底该长什么样？

目前，ArbiterOS 代码已全面开源，欢迎访问 GitHub 仓库体验，并为它点亮一颗 Star ⭐️！

一、真正要命的，不是模型“说错话”，而是它“做错事”

过去几年，大家一谈大模型安全，脑子里的警报声都是“越狱”或者“价值观对齐”。这其实是一种典型的聊天机器人时代的惯性思维。

在那个阶段，防住它说脏话、传播偏见确实很重要。但现在，游戏的版本已经更新到了 Agent 时代。

Agent 的本质，是给大模型装上了“手脚”。它不再是“打嘴炮”，而是在真实环境里“动真格”。一旦它开始自主调用工具、访问系统、处理你的私密数据，问题的重心就必须从传统的 “内容安全”，瞬间拉回到更底层的 “执行治理”。

靠 RLHF 在训练期发力，根本追不上 Agent 在运行时闯祸的速度。更致命的是，Scaling Law 把“生成复杂行为”的成本打下来了，却把“验证它是否可靠”的成本拉到了天上去。现在的模型能瞬间拼出一个调用几十个工具的复杂智能体，但你想证明它在所有边界条件下都不会炸雷？成本往往是灾难性的。

世界从来不缺聪明的“生成器”，缺的是能把它“盖章放行”的自动化审查器。

迅速走红的Computer-Using Agents (比如 OpenClaw 和 Workbuddy），让更多人第一次直观感受到高权限本地 Agent 的能力与风险。但也正因为它真的拥有了操作文件、调用脚本的“手脚”，随之而来的安全风波，也把所有人惊出一身冷汗。

是龙虾的错吗？不全是。

更大的锅在于我们当下的技术范式：我们在让一个极其聪明、随时待命的 Agent，在一个没有系统级权限底座的环境里“裸奔”。

没有底层的动作拦截机制，再聪明的工具，一旦遭遇恶意提示词注入，或者模型自身轻微的逻辑漂移，它那双用来“帮忙”的手，转眼就会变成造成凭证泄露、文件篡改的祸源。

龙虾踩的坑绝非个例。只要 Agent 手握底层权限，这种因为“缺乏运行时约束”而埋下的暗雷，就在我们每个人的电脑里滴答作响：

• 文件读写越界：你让 Agent 清一下冗余日志，它却因为极轻微的注意力漂移，路径解析错了位，顺手一个 rm -rf把没备份的实验数据全扬了。

• 数据外发失控：你让 Agent 整理邮件，它却把未公开的合作邮件内容当成“上下文”，顺手发给了未经审查的外部插件。

• 多步调用暗雷：你让 Agent 画个图，它为了画得漂亮，擅自下载了一个带后门的外部库。代码一跑，你的敏感数据已经顺着网线溜走了。

在这些场景里，模型“想”得没错，“说”得漂亮，但它最终“做”出来的事，却是灾难性的。

如果说动动文件还只是数字世界里的“擦枪走火”，那把视野放大到高风险领域，缺乏底层约束的代价，可就不是丢点数据那么简单了：

• 金融交易：让 Agent 盯盘执行量化策略。一旦极端输入触发逻辑盲区，它可能在几秒内抛售全部高风险仓位，甚至向未验证账户转账。这种级别的动作，能全指望大模型的“自觉”吗？

• 医疗生命科学：被授权开具处方的 Agent，只要产生 0.1% 的幻觉，输出的就不是乱码，而是一剂剂量错误的药物。在这里，不可控就等于不可用。

• 具身智能破圈：当 Agent 拥有了机械臂、无人车的身体。它的一次计算延迟或路径错误导致的“越界动作”，砸碎的就是昂贵的设备，甚至威胁人类安全。

在这些容错率为零的深水区，要求模型“态度好、三观正”是远远不够的。只要它拥有改变现实的 API 权限，哪怕是“好心帮倒忙”，后果也是毁灭性的。

所以，今天真正的问题，不是模型会不会说错话，而是它会不会做错事。

面对越来越能干的 Agent，我们要的不只是一个更聪明的“大脑”，而是一层专门约束它“手脚”的运行时治理底盘。

二、为什么补丁、护栏和沙箱，统统防不住？

自从 OpenClaw 大火后，社区的各种安全插件和补丁就没断过。客观说，这些努力都有价值。但如果我们把主流的防御套路拆开看，会发现它们大多还在外围打转：要么堵输入，要么拦输出，要么盖沙箱。

这些手段能止痛，但成不了真正的治理架构。

2.1 只靠 Prompt 约束和“确认弹窗”？不够。

最直觉的思路是强化 System Prompt，告诉模型“千万别删库”；或者引入 HITL，高危操作弹窗确认。这本质上是在给模型做“思想工作”。

这条路有两个硬伤： 第一，自然语言形成不了强约束。Transformer 架构在底层根本分不清“主人的命令”和“外部的干扰”。面对 Prompt Injection（提示词注入）这种“洗脑攻击”，靠文字劝导终究只是软柿子。 第二，确认弹窗会引发“授权疲劳”。频繁弹窗会让你变成无情的“同意机器”。更可怕的是，一个伪装极好的恶意 API 调用（表面合法，实则偷传密钥），普通人在瞬间根本无力辨别。弹窗只是转移了法律责任，并没有消除安全风险。

2.2 只靠 Guardrail（安全护栏）？不够。

外挂一个安全模型去审查每一步动作链。这类方案的短板在于：它只能判断 “内容像不像风险”，却不掌握真实的系统状态和数据流向。

比如 Agent 发起了一个语法完全合法的 HTTP POST 请求，Guardrail 看不出异常。但它不知道，就在前几步，Agent 刚刚偷读了 .ssh密钥，并混进了这段“合法”文本里。护栏能防住“说错话”，却防不住“在错误上下文里干合法的事”。

2.3 只靠 Sandbox（严格沙箱）？也不够。

把 Agent 关进 Docker 容器或虚拟机，这确实是安全本能。但 Agent 的核心价值就是交互——调代码、管文献、发邮件。隔离过死，它就退化成只能“玻璃罐里表演”的玩具。

更重要的是，沙箱缺乏语义上下文：它能拦住文件读写，但它分不清 Agent 是在正常清理日志，还是在恶意窃取代码。只要为了干活开了 API 的口子，风险就会顺着权限缝隙钻出来。

所以，Prompt、Guardrail 和 Sandbox 解决的都只是外围。真正的“治理”必须触及内核。沙箱的刚性隔离限制了生产力，护栏的语义过滤防不住数据走私。

我们需要的不是更多补丁，而是一次底层的范式转移：一套不可绕过的系统级底座，强制 Agent 在扣动扳机前，必须无条件服从确定的数字契约。

三、如果真要给 Agent 立法，这套系统长什么样？

既然修修补补不管用了，那我们就得直面更硬的挑战：从底层重构。

很多传统安全的同行会奇怪：为什么我们不用“防火墙”、“杀毒引擎”这些词，反而开始用“治理”、“立法”这种宏大词汇？

核心原因是：防御的客体变了。

以前防的是“确定性的恶意代码”，现在要防的是 “具备自主性的概率引擎”。Agent 是主动的“硅基公民”，它会自己规划、写代码、决定下一步调什么工具。对于这种拥有“自主行动权”的实体，你永远穷举不完它的越轨路径。

因此，降维的“堵漏洞”注定防不胜防。你只能像管理人类社会一样，为它制定一套刚性的、不可违背的底层“数字宪法”。

在端出 ArbiterOS 系统架构之前，咱们先坐而论道。做系统设计最忌讳堆砌功能，我们先想清楚：如果要给跑在服务器上的无数 Agent 建一个底层“警察局”，这套系统至少要满足什么条件？

结合前面的理论判断，至少绕不开下面五条铁律：

原则 1：模型绝不能直接驱动高风险动作（权力隔离）大模型可以负责规划、推理、写代码，但绝不能直接握有“扣扳机”的权力。在“大脑”（模型）与“手脚”（工具）之间，必须硬插一层不可绕过的治理内核。谋局者不执锐——军师尽可出谋划策，但调兵的虎符，绝不能握在军师手里。

原则 2：自然语言不能直接当法律（机器可读）Prompt 是模糊的。用自然语言约束 Agent，就像试图用道德劝诫替代刑法。真正的规则必须是结构化的、确定性的、防注入的。意图可以用话说，但边界必须用代码写死。

原则 3：治理必须发生在运行时（动态干预）对齐解决的是训练期的问题，但治理必须解决 “正在发生”的动作问题。真实风险不是在训练集里暴露的，而是在动态交互中产生的。治理必须是运行时执法。系统要有能力在 API 被调用的那一刻，依据上下文瞬间叫停。

原则 4：敏感动作必须支持升级确认（有限授权）我们反对“满屏弹窗”，但不意味着把一切扔给模型。对于触及核心安全、隐私、资金的动作，必须支持策略路由：一旦命中高敏感行为，立刻熔断，把决策权升级给人类或更高级的验证机制。机器负责日常，人类守住底线。

原则 5：系统必须可追踪、可回放、可复盘（绝对审计）在 Agent 时代，“它为什么这么做、错了怎么查、责任怎么定”直接决定了它能不能上线。治理系统必须像飞机黑匣子一样，记录每条动作链。没有无死角的可观测性，治理就是一句空话。

四、基于这些判断，我们做了个系统级尝试：ArbiterOS

基于上面的硬核判断，我们在实验室里做了这个系统级探索：ArbiterOS。

它不是一个更强的新模型，也不是又一个外挂补丁，而是试图去构建那一层运行时治理内核。

为什么名字里带个 “OS”（操作系统）？因为传统计算机体系最重要的设计，就是把应用层和内核层强行隔开：应用可以随便折腾，但系统权力必须握在内核手里。

可现在很多 Agent 架构正相反：大模型既当大脑，又直接伸手去碰工具、调 API、改文件。这几乎等于让一个还在高速发育、甚至会被洗脑的“应用”，直接跑在了最高权限层。

ArbiterOS 想做的，就是在这中间硬插一层不可绕过的治理内核，把模型的 “思考权”和系统的 “执行权”彻底分层。

如果用一句话给它下定义：

在 ArbiterOS 的架构里，无论 Agent 上层用了多花哨的 Prompt，只要它决定执行高风险动作——写文件、改配置、发请求——这个动作都不能直接丢给底层 API。它必须先被拦截，转换成机器可读的请求，提交给 ArbiterOS 审查。只有当治理内核依据“数字契约”校验通过后，动作才会被真正放行。

五、从模型输出到治理：ArbiterOS 的四步法

如果共识已达成——Agent 时代需要操作系统级的中间层——那下一个问题就是：ArbiterOS 具体怎么干活？

想象一个极简场景：Agent 准备读取本地配置，生成摘要，再通过外部 API 发给另一个系统。在没有治理内核时，这条链会一路绿灯冲到底。但在 ArbiterOS 里，它必须经历拦截、解析、治理、观测这四步不可省略的流程。

5.1 动作执行前拦截

当 Agent 准备向外发请求的那一刻，ArbiterOS 的第一步不是“理解”，而是强制接管。 为什么拦截比事后扫描更关键？因为 Agent 时代的破坏是瞬时且不可逆的。等数据泄露了再去看日志，黄花菜都凉了。真正的治理必须是阻断式的。这一步解决的核心是：别让系统“先做了再说”。

5.2 将意图转为结构化请求

5.3 判断放行、阻止或脱敏

拿到结构化指令与元数据后，才轮到核心治理引擎。 这里的“策略”不是什么“请你不要泄露数据”的 Prompt，而是一份强类型的访问控制逻辑。在 ArbiterOS 设计中，一条“数字契约”由几个明确维度构成：

• 主体：是哪个 Agent、什么角色发起的？

• 动作：是读、写还是发网络请求？

• 客体：目标是内网 IP 还是未知域名？

• 上下文条件：这是最关键的一环。系统会检查数据血缘，如果发现 Payload 包含本地敏感配置，且目标不在白名单，直接判定违规。

系统会拿着解析数据与这些 Policy 进行毫秒级碰撞。一旦发现跨界冲突，立刻给出明确裁决：阻止（Block）或 脱敏（Redact）。 这一步把安全防御从语义理解的“玄学”，变成了基于规则的确定性。

5.4 记录完整决策过程

最后一步，记录一切。ArbiterOS 会完整记录：Agent 试图读什么、发给谁、因为触碰了哪条红线而被熔断。为什么观测决定了这套系统能不能活下来？如果没有黑匣子，你事后只会看到“任务失败”或“网络超时”，根本不知道核心配置差点泄露。没有可追踪、可回放的黑匣子，治理就只是情绪反应，而不是证据驱动的迭代。

六、ArbiterOS 解决了什么，又留下了什么？

做系统工程，最怕两种幻觉：一是“我已经彻底解决问题”，二是“只要方向对，细节不重要”。

ArbiterOS 能一劳永逸地解决问题吗？显然不是。

但我依然愿意为它背个判断：它至少踩在一条值得继续走、且越往后越宽的路上。

6.1 已经验证的能力

在这场从理论推演到系统原型的试错中，我们最大的收获，是验证了：把治理前移到动作执行前，不是纸上谈兵，而是可以落地的完整工程链路。

具体来说，我们看到了几件重要的事：

• 治理维度真的可以下沉。不必永远停留在模糊的“文本风险判断”层面。

• 风险边界确实可以被收束。无论上层 Prompt 多花哨，风险最终体现在动作边界上。

• 治理可以形成闭环。审批、熔断、审计、回放，可以被组织进同一条链路。

• “数字宪法”和“警察局”不再只是比喻。至少在运行时执法这第一层台阶上，它已经变成了看得见、跑得起来的系统底座。

6.2 现阶段的局限

验证“方向可行”和解决“问题本身”之间，还隔着深水区：

• 规则设计是一场持续的“立法”。红线到底怎么画？画死了损失可用性，画宽了风险溜进来。这需要一套动态策略演进机制，甚至“判例法”的灰度测试系统。

• 真正的“机器可读契约”远未到来。我们现在更多是做结构化校验。但要支撑复杂的立法体系，一种优雅、无歧义、可组合的契约语言（如 Agent-ABAC）到底长什么样？这事儿远远没被解决。

• “意图偏离”与隐蔽信道依然防不胜防。目前的底层拦截管得了“物理越界”，管不了“合法权限内的蓄意破坏”。未来必须在底层契约执法之上，引入基于上下文的语义护栏，形成正交防御体系。