AI可信度评估公司Selectstar于10月26日宣布，推出判断型AI模型DAVI。
据介绍，DAVI主要面向模型选择、回答妥当性评估等决策类任务，也可用于预测AI Agent任务的成功概率。
Selectstar表示，在与全球判断型AI模型TypeSafeAI旗下Jev的性能对比中，DAVI在主要评测指标上表现更优，准确率更高。
在用于评估AI判断能力的JevBench 231道题测试中，DAVI准确率达到89.2%，较Jev的86.6%高出2.6个百分点。在高难度题目测试中，DAVI准确率为77.5%，高于Jev的73.0%达4.5个百分点；在韩语反馈评测中，DAVI为72.5%，同样高于Jev的66.8%。
在模型路由实验中，DAVI也验证了其降本效果。Selectstar以870组韩语高难问答为样本，由DAVI在Anthropic的Haiku、Sonnet和Opus三款模型之间选择最合适的模型。
结果显示，基于DAVI的路由方案准确率为71.1%，较仅使用Opus时的70.3%提高0.8个百分点；模型运行成本较单独使用Opus下降约28%。
Selectstar表示，计划于今年11月在自研AI可信度评估平台Datumo Eval中接入DAVI，帮助企业开展AI质量评估，并提升模型运营效率。
记者信息
Seulgi Son
sageson@d-today.co.kr