Kakao表示,公司已与人工智能安全研究所达成合作,将面向自研AI模型和AI代理建立安全评测体系。
Kakao称,双方已于28日签署业务合作谅解备忘录(MOU),并于29日公布合作消息。根据协议,双方将在AI安全联合评测、评测体系建设等方面展开合作。
此次合作将以语言模型为起点,评测范围随后逐步扩大至多模态模型和AI代理。从长期来看,双方还将联合开发用于验证模型及代理安全性的可复用评测工具。
其中,Kakao将提供纳入评测的自研AI模型和AI代理,并为评测实施及工具开发提供所需基础设施;人工智能安全研究所则负责具体评测工作以及评测方法的持续优化。
评测结果将由双方共同审核,对外披露范围将另行协商确定。
按照计划,相关合作将分三个阶段推进。第一阶段,围绕语言模型开展上线前后安全评测;第二阶段,将评测对象扩展至多模态模型和AI代理;第三阶段,双方将联合开发可复用的安全评测工具。
Kakao此前已与人工智能安全研究所就其自研语言模型“Kanana-1.5-9.8B”开展过联合安全评测。
Kakao AI Synergy成果负责人Kim Se-woong表示,此次合作将帮助Kakao建立更客观、更严格的AI安全验证机制。公司今后将继续以安全和可信为基础,持续提升AI模型及相关服务能力。
人工智能安全研究所所长Kim Myeong-ju表示,随着AI技术不断演进、能力持续增强,行业更需要一套能够提前识别并评估潜在风险的体系。研究所将与Kakao合作,推动建立符合全球标准的AI安全评测体系。
记者信息