Rebellions表示,已将自研NPU服务器与超大规模语言模型结合,在单台服务器上实现接近高性能GPU服务器的AI基础设施能力。该公司23日称,已在自研AI服务器“Rebel Server”上运行SK Telecom自主研发的AI基础模型“A.X K1”,并完成可应对多用户并发请求的智能体服务演示。
此次验证的重点在于超大规模AI模型运行所需的基础设施效率。Rebellions称,其已在单台Rebel Server上稳定运行参数规模超过5000亿的A.X K1。公司表示,该方案尽可能在单机内完成计算,减少不必要的资源开销,从而降低数据中心建设和运营负担;仅凭这一配置,即可提供接近高性能GPU服务器的基础设施能力。
A.X K1采用当前大模型中广泛使用的混合专家架构(MoE,Mixture of Experts),以提升大模型场景下的计算效率。Rebellions表示,公司还围绕芯片特性开发了配套软件,对不同类型的计算任务进行优化调度和分布式处理,从而在多路请求同时进入时,仍可避免明显性能瓶颈并实现实时处理。
Rebellions称,此次还通过“地图类智能体服务”对实际可用性进行了验证。即便多名用户同时接入,并分别询问“周末营业的药店”等问题,A.X K1也能在无明显延迟的情况下完成处理,并将结果实时显示在地图上。公司认为,这表明仅凭本土AI技术栈,也能够支撑面向公众的多用户并发智能体服务。
目前,Rebellions作为SK Telecom联盟成员,正参与韩国科学技术信息通信部推动的自主AI基础模型项目。公司表示,基于过去约一年运营“A.Dot电话通话摘要”等大规模实时AI服务的经验,未来还将作为国产NPU基础设施合作伙伴,参与政府“人人的AI”项目。
Rebellions首席执行官Park Seonghyeon表示,此次验证是“主权AI”的一个现实案例,说明仅凭国产大模型与国产NPU的组合,也能够支撑大规模AI服务运行,同时验证了相关基础设施的效率和实际可行性。公司将继续与SK Telecom合作,打造可在日常生活中广泛使用的韩国本土AI基础设施。