AI数据与模型可信评估公司Selectstar于11月17日表示,公司与Shinhan Bank联合开发的银行场景大语言模型(LLM)测评基准K-BankEval相关研究论文,已入选国际学术会议ICAIF 2026工作坊。
ICAIF 2026是金融AI领域的国际学术会议,自11月14日起在意大利米兰召开。双方研究团队于11月15日在“金融AI安全、可靠性与隐私”工作坊上发表了相关研究成果。
K-BankEval是一套面向真实银行业务场景、用于评估AI模型适配性的测评体系,覆盖金融知识、检索增强生成(RAG)、工具调用、金融推理、回答安全性以及AI代理任务规划等6大维度,共设5000项测试。
该体系重点考察围绕金融消费者保护的模型回答安全性,以及AI代理执行任务的能力,以弥补通用LLM测评在银行场景中的局限。Shinhan Bank负责提供业务所需的测评标准,Selectstar负责测评技术研发。
此前,Selectstar与韩国金融安全院、韩国科学技术院(KAIST)联合开发的金融AI安全性评估体系FinRED相关论文,也曾入选IEEE ICDM 2026。FinRED是一套基于电信诈骗、洗钱等金融风险场景验证AI安全性的评估体系。
Selectstar首席执行官Kim Se-yup表示,公司已建立起一套能够将真实银行业务所需AI能力具体化并进行客观评估的体系,今后将继续加强对金融AI业务适配性与安全性的验证能力。
记者信息