OpenAI已启动“Decisions API”有限预览,允许模型在预设选项中快速作出选择。
据 TechCrunch 于9月30日(当地时间)报道,这一API被视为针对大语言模型在速度和成本方面痛点提出的方案,潜在应用场景包括软件自动化和AI代理监控等。
在OpenAI年度开发者活动上,Sam Altman介绍称,Decisions API的核心思路,是先为OpenAI“Luna”模型设定一组候选选项,再由模型在其中直接作出选择。例如,模型可以在图像分类标签中选定其一,也可以在多个代理动作中选择下一步操作。按照他的说法,把模型的决策范围限定在预设选项内后,响应速度可明显提升,同时仍能保留图像理解能力、多语言支持和安全机制。
从产品形态来看,Decisions API与TypeSafe AI本月初发布的“Zev”存在相似之处。Zev主打软件自动化场景,在开发者提供多个选项后,模型可以更快、以更低成本给出各选项的概率输出。当前,已有部分开发者将其作为大语言模型的辅助模型,以提升整体响应速度并压缩成本。
不过,TechCrunch指出,Decisions API与Zev究竟相似到什么程度,目前仍不清楚。OpenAI现阶段仅以有限预览形式开放,该产品已被开发者验证性能的案例也还不多。
对于OpenAI这一动作,TypeSafe AI首席执行官Diogo Almeida在社交平台X(原Twitter)上调侃称,这是“抄袭之战的开始”。他同时表示,OpenAI的关注或许释放出一个信号:围绕“System 1”构建能力,可能会成为未来的发展方向。
此前,TypeSafe AI将快速、直觉式判断归类为System 1,而将更审慎的推理过程归类为System 2。
TechCrunch认为,Zev之所以受到关注,与围绕大语言模型速度和成本的持续争议有关。业界普遍认为,如果将大语言模型直接部署到大量软件场景中,往往既慢又贵。在这一背景下,Almeida将TypeSafe AI的竞争力归因于其利用合成数据生成在统计意义上更具显著性的输出结果。