“AI替我们完成的工作，责任不能转嫁给外部。模型供应商提供的担保，也不能减轻这种责任。最可靠的超级智能系统，不是采用了最值得信任模型的系统，而是让你对模型本身依赖最少的系统。”

Microsoft CEO Satya Nadella近日在社交平台X（原Twitter）分享了一篇题为《超级智能时代：将模型视作内部人风险》的文章，引发科技行业关注。

在这篇文章中，Nadella的核心观点是：随着超级智能（Super Intelligence）时代临近，企业必须重构信任与安全架构。

Nadella指出，过去几十年里，企业在引入软件系统后，一旦出现问题，通常还能追溯到具体的代码路径。但在超级智能系统中，这种基于传统软件逻辑的理解方式已越来越难成立。驱动系统运行的前沿模型虽然能力更强，却往往无法解释一次输出究竟对应哪些训练数据或权重变化。即便如此，企业仍在将最敏感的数据访问权限交给复杂的智能体系统和模型，并让其参与核心业务流程。

他强调，企业不能把AI执行任务所产生的责任外包给供应商。将超级智能视为黑箱，只在其建议、回答或行动出现后再决定是否接受，并不是可行方案。企业需要建立一套能够持续观察模型行为、检验能力边界，并在必要时随时切断或收回权限的系统。换句话说，模型能力供给与权限控制必须拆分。

Nadella认为，与其优先纠缠于对齐（alignment，即确保AI按照人类意图行动）等难题，不如先从隔离和治理入手，以工程化手段补齐短板。具体而言，应以确定性的系统设计、人类控制以及可信的运营流程，来约束模型输出天然存在的不确定性；在现有标准不足的情况下，行业也应推动建立新标准。

在治理路径上，他提出，无论是闭源模型还是开源权重模型，都应按“内部人风险”（insider risk）来管理。这里的重点不在于模型是否“有恶意”，而在于任何能够访问关键系统的行为体，都可能因失误或被攻破而带来风险。因此，隔离与控制机制必须建立在这一前提之上。

Nadella表示，企业在过去数十年中已积累了大量应对“组织内部高权限行为体”风险的经验，包括身份验证、权限约束、活动留痕以及隔离边界设置等。如今，这些方法也应被系统性地应用到企业内部的超级智能系统治理之中。

在具体技术路径上，Nadella将公开模型推理链（CoT，Chain of Thought）视为起点，并称这是不可妥协的条件。他强调，所谓Neuralese——即人类无法直接读懂的模型内部语言——不能成为继续维持推理过程不透明的理由。

不过他同时指出，仅公开CoT既不充分，也未必可靠，因为行业目前仍无法确保模型输出始终真实、透明且可核验。

他还提到，另一种可行思路是让多个模型相互进行对抗式测试和验证。Nadella认为，这一方法有采纳价值，但同样存在明显边界：如果在不透明的编排层之上再叠加不透明模型，并由另一个不透明模型负责监督，最终可能演变为“黑箱监管黑箱”。

因此，Nadella主张，决定模型“能访问什么、能做什么”的控制机制，必须放在模型之外。这一思路源自上世纪70年代的信息安全原则：程序不应绕过或修改用于限制其权限的机制。对应到AI系统，就是要将负责协调任务的harness（编排/调度框架）、界定模型能力边界的行为范围，与外部控制和安全机制分离开来。

围绕“可观测性”这一核心，Nadella进一步提出了七项系统设计原则。

第一，模型多样性。任何单一模型都不应独自承担关键结果，也不应自行验证自己的输出。

第二，全面可观测。所有“有意义的模型行为”都必须留下人类可读且不可篡改的证据；如果无法被观测，就无法被信任。系统还应能够在不依赖模型自我陈述的情况下，复现结果形成过程。

第三，可验证性。测试不应只覆盖成功场景，还应持续纳入失败、攻击、异常情况以及系统变更，并开展端到端的持续验证。

第四，独立控制。组织必须能够自主定义模型的访问权限和行为边界。

第五，独立审计。验证机制必须与被验证的智能系统相互分离。任何模型都不应同时掌握系统实际行为，以及判断这些行为是否符合原始意图所需的证据。

第六，隔离。系统设计必须预设“模型已经被攻破”这一前提，因此从一开始就要建立隔离机制。Nadella以紧急制动为例称，具备权限的人员应能随时暂停或关闭正在执行任务的模型；模型能力越强，就越需要更高等级的隔离技术，并推动相关标准化进程。

第七，事故披露。一旦系统失效或遭到攻破，相关方应及时通知受影响对象，并向行业披露问题出在哪里、哪些控制机制失效，以及如何防止类似事件再次发生。披露内容还应包括那些会影响运行中智能体行为调整的实现细节。