Upstage宣布,将为AXZ运营的门户网站Daum提供AI摘要服务的底层技术支持,方案基于其自研大语言模型Solar,以及FuriosaAI的神经网络处理器(NPU)Renegade(RNGD)。
15日,Upstage CEO Kim Seonghoon在与AXZ CEO Lee Geonsu、FuriosaAI CEO Baek Junho共同出席的交流会上表示,这是首次由本土技术打通算力基础设施、模型与服务全链路的案例。
当天,三方负责人在京畿道城南市板桥的AXZ总部,围绕合作进展及后续规划展开交流。
据介绍,Daum的AI摘要服务通过大语言模型对网页内容进行分析,并为搜索结果生成整合后的答案。用户在Daum搜索框输入关键词后,系统会同步提供核心摘要及相关依据;当网页内容发生变化时,AI也会自动更新,便于用户持续获取最新信息。
Lee Geonsu表示,目前约20%的搜索请求由AI摘要处理。除通用摘要外,团队还将把服务拓展至购物、餐厅搜索等垂直领域,并准备通过Daum向用户提供“一人一AI代理”的个性化能力。Daum已于本月1日启动AI摘要Beta服务,AXZ计划在年内扩大适用范围并推出正式版。
在降低“幻觉”方面,Lee Geonsu称,团队增强了Harness工程能力,并通过结合关键词检索与向量检索的混合检索机制,将高相关性的最新信息提供给Solar大模型。
谈及AI摘要所需的算力资源,Baek Junho表示,目前系统以3个节点支撑日均5亿个token处理量。公司通过可将AI模型更高效映射至加速器的编译器,以及面向最优推理服务的引擎,在软硬件层面采用协同设计,实现了与H200相当的性能。他还称,在引入FuriosaAI NPU后,推理成本降幅可超过50%。
Baek Junho强调,在当前国际形势下,从战略层面看,也有必要推动“主权AI”芯片、模型与服务的结合。
Kim Seonghoon表示,Solar的竞争力在于基于自研轻量模型架构实现的全球前沿级性能,以及对韩语能力的持续优化。他说,Upstage将继续提升本土大语言模型的性能,以应对海外大型科技公司的模型竞争;公司下一代模型也将通过独立AI基础模型项目等渠道陆续对外发布。