Kang Min-seung,Tnaps CEO。图片来源:DigitalToday

随着AI逐步从辅助工具走向可直接承担工作的“数字员工”,如何将其纳入企业既有的合规与内部控制体系,正成为行业关注的焦点。

Tnaps CEO Kang Min-seung近日在接受采访时表示,AI能力变强,并不意味着企业就能放心将更多权限交给AI。真正的关键在于,当AI代理开始直接参与工作流程后,谁来对其进行约束、校验和管控。

在他看来,企业过去围绕员工建立的合规审查和内控机制,已经难以完整覆盖AI代理的执行环节。因此,当前企业需要建立面向AI的“AI合规官”机制。

Kang Min-seung表示,现有内控体系本质上仍是以人为中心设计的。一旦AI代理承担大量具体工作,仅靠人工已很难完成全面追踪和管控,而这一领域目前仍存在明显空白。

尤其在金融行业,由于业务容错率极低,即便是微小失误也可能演变为风险事件,因此在AI执行前后建立校验机制尤为重要。他指出,企业不仅要看AI能否给出答案,更要确认其输出内容和执行动作是否符合业务规则。

他举例称,某金融机构的AI在介绍退休年金业务时,曾生成一个并不存在的汇款代码。虽然这一错误在实际汇款前被后台监控发现,但如果未能及时拦截,就有可能升级为金融事故。

基于此,Tnaps的做法是在运行阶段对AI输出结果和执行动作进行独立校验:简单场景通过规则判断,复杂场景则由多个轻量化模型交叉验证;对于AI本身难以准确判断的领域,再转交人工处理。

公司还引入了多模型反复“质疑并确认”结果的自我审校机制(self-critic),并将企业内部业务标准和示范答案纳入校验体系。同时,系统会把运行过程中发现的错误持续沉淀为数据,用于提升后续验证能力。

Kang Min-seung表示,AI本质上是以概率方式生成答案,但企业决策不能建立在概率性容错之上。“不能因为100次里只有1次做出不同判断,就认为没有问题。”

他同时强调,宣称AI能够100%阻止事故并不现实,真正重要的是划定边界:哪些事项可以交给AI判断,哪些环节必须转交人工处理。

在他看来,校验机制不仅要保证准确性,也必须兼顾速度。如果验证过程明显拖慢响应速度或业务处理效率,就很难真正应用到实际服务场景中。

Kang Min-seung称,韩国算法人才较擅长在低时延条件下完成“做或不做”的快速决策,而如何在极短时间内高精度判断AI决策是否可执行,也可能成为韩国开发者具备竞争力的一个方向。

谈及与现有大语言模型(LLM)护栏方案的区别时,Kang Min-seung表示,传统方案大多集中在拦截提示注入、越狱等外部攻击,重点在“输入侧护栏”;而Tnaps进一步覆盖“输出侧护栏”,即在AI接收正常请求后,仍对其错误答复或错误动作进行校验。

他将Tnaps定位为一家“AI可信基础设施”创业公司,核心能力在于:在AI代理的答复被传递出去、或动作被真正执行之前,实时判断其中是否存在问题。

他还指出,企业在建立这套机制时,必须充分反映各自的内部制度和业务标准。即便在同一家金融机构内,退休年金、个人及企业信贷、存款、外汇、反洗钱(AML)等不同业务,对AI应遵循的规则和可被授予的权限也并不相同。

Kang Min-seung表示,模型可以持续迭代,但企业标准不应随模型变化而频繁改变。无论企业最终使用哪一种模型,都应在同一套标准下运行,关键在于建立稳定的治理体系。

据介绍,Tnaps已与KB国民银行完成概念验证(PoC),并入选面向KB金融9家子公司的项目。在此基础上,公司正将业务拓展至更多金融机构和大型企业。微软也在支持其客户拓展和全球业务推进。

对于未来趋势,Kang Min-seung认为,在多个AI代理协同运作的“多代理(multi-agent)”环境下,控制难度还将进一步上升。即便各个代理都在按各自目标行动,从系统整体视角看,仍可能出现相互冲突的结果。

他以贷款查询代理和贷款审查代理为例称,前者的目标可能是提升产品推荐和转化,后者则更重视控制不良风险,因此需要更高层级的协调与控制机制。

他表示,随着业务逐步走向多代理协同,承担管理职责的“监督者(supervisor)”角色将变得更加重要;AI获得的权限越大,对其判断与行动进行约束的机制也就越关键。

在Kang Min-seung看来,“信任”将是未来企业级AI普及的决定性变量。当前企业在高性能GPU、AI模型等基础设施上的投入十分积极,但对于AI究竟能承担多大决策权限,相关制度建设仍显不足。

他最后表示,企业之所以尚未大规模使用AI,问题并不在GPU或模型本身,而在于“允许AI做到什么程度”仍未被清晰界定。若要让AI真正接手实际业务,除性能之外,还必须建立起足够可靠的信任与控制体系。

关键词

#AI代理 #数字员工 #合规与内控 #输出侧护栏 #运行时校验 #金融科技 #LLM #多代理协同 #KB国民银行 #Tnaps
版权所有 © DigitalToday。未经授权禁止转载或传播。