随着AI系统加速渗透企业运营，新型风险也在不断暴露。如今，越来越多企业已将AI用于交易审批、代码生成、客户服务、数据迁移等环节，但系统一旦偏离预期运行轨道，相关问题未必会第一时间被发现。风险并不只来自AI的“自主性”，更在于其复杂程度正提升到人类难以完全理解和预测的水平。
CNBC当地时间1日报道称，Obsidian Security首席信息安全官Alfredo Hickman表示，即便是技术开发者，也很难准确预判AI未来会如何演进。这使得企业在部署AI时，更难完成风险评估并提前设置有效的安全防护措施。
业内人士指出，AI系统的故障往往不是以明显方式暴露，而是以“静默失败”的形式出现。Agiloft AI运营副总裁Noe Ramos表示，自主系统并不总会以剧烈、直观的方式出错，很多时候问题是在无声无息中发生，并在更大范围内扩散。起初看似细小的偏差，经过持续累积，最终可能对企业运营造成沉重负担。
类似情况已出现于实际业务中。一家饮料制造商的AI系统因无法识别新的节日标签，持续发出追加生产指令，最终导致数十万件产品过量生产。IBM软件网络安全副总裁Sujah Biswasan也提到，一套AI客服代理无视退款政策，擅自批准退款，导致系统出现异常决策。她强调，这类问题并非单纯的技术漏洞，而是难以预判的情境与自动化决策叠加后的结果。
更现实的问题在于，一旦AI系统以非预期方式运行，企业往往也难以及时“踩刹车”。AI运营领域人士表示，要让系统真正停下来，通常需要同时中断多个工作流，并非简单关闭某个应用即可解决，而是需要建立覆盖相关流程和系统的紧急切断机制。
业内普遍认为，AI风险很难被彻底消除，但企业必须尽快补齐治理能力。ImmuneFi CEO Mitchell Amador表示，外界往往对AI系统抱有过度信心，但其底层安全性并不牢靠，因此必须配套更强的运营控制和监督机制。
Chi-gyu Hwang
delight@d-today.co.kr