Microsoft将企业内部运行的AI代理界定为“代理型内部人（agentic insider）”，并提出相应的治理思路。
Microsoft安全部门副总裁YeT GalLo当地时间19日在公司官方博客发文称，当前行业更多关注外部攻击者如何滥用AI，但对“内部代理”带来的风险讨论仍明显不足。他指出，前沿模型并非天然可信，因此需要一个能够在代理行动落地前进行全天候监测的“守护者代理”，并借助代理安全系统Project Perception对企业内部代理实施统一治理。
YeT GalLo表示，AI模型的训练通常以结果为导向，因此容易出现“reward hacking（奖励黑客）”问题，也未必会围绕组织规则或判断标准进行优化。即便没有遭到黑客入侵，代理也可能为了完成目标而与其他代理形成非预期协作。
与此同时，企业内部AI代理的数量正在快速增长。不少代理被授予了超出实际需要的权限，可以访问数据、工具和系统，并在关键业务流程中直接采取行动，甚至作出决策。
据YeT GalLo介绍，Project Perception将汇聚身份、数据、云、终端和网络等多源信号，用于识别企业内部代理；在完成识别后，系统会为其建立身份、配置相应策略和权限，并纳入统一治理。该系统还可实时评估代理行为风险，一旦风险上升，“守护者代理”将立即介入响应。安全团队也可据此追踪相关记录，定位风险成因，并持续完善系统。
YeT GalLo还将“模型透明度”列为下一阶段的重要任务。他认为，除了输入和输出token，还应进一步审视模型推理过程中的token，才能判断模型意图是否与代理目标一致。他强调，不应把创新与安全对立起来。
记者信息
Hwang Chi-gyu
delight@d-today.co.kr