KT推出企业级主权AI一体机“KT NPU LLM Station”。图片来源:KT

KT推出一款将本土AI芯片与自研大语言模型集成于单台服务器的企业级主权AI产品,进一步加码面向高安全、高合规场景的AI基础设施市场。

KT于19日宣布,正式发布企业级主权AI一体机“KT NPU LLM Station”。

据介绍,KT NPU LLM Station集成了韩国AI芯片企业Rebellions的神经网络处理器(NPU)“ATOM-MAX”、KT自研大语言模型“Mi:deum K 2.5 Pro”以及API平台,是一款面向企业客户的一体化产品。

其中,ATOM-MAX是一款面向AI推理优化的NPU;Mi:deum K 2.5 Pro则聚焦复杂推理及AI Agent应用。KT表示,该产品将AI芯片、模型和平台等核心能力建立在本土技术基础之上,旨在帮助企业构建主权AI环境。

该产品采用本地部署方式,可在客户内部环境中独立运行,数据和算力均留存在本地。KT预计,该产品尤其适用于因网络隔离及监管、安全等因素,难以引入外部生成式AI的政务、国防、制药、制造、金融等行业。

在部署方面,KT NPU LLM Station已预先完成服务器、AI模型和平台的集成,可降低企业导入门槛。部署完成后,用户无需额外建设基础设施,即可基于企业内部文档使用检索增强生成(RAG)问答等AI功能。

KT表示,得益于推理优化型NPU的应用,该产品在能效表现上优于同级GPU服务器。同时,产品支持行业标准API,已在使用现有AI服务的企业仅需调整接入信息即可完成对接,无需改动代码。

后续,KT还计划逐步为该产品加入会议纪要生成、代码辅助、办公自动化等自研AI Agent功能,其中包括“K-Claw(暂定名)”。公司还将与专注Agent开发的企业合作,把应用范围进一步拓展至面向客户的定制化建设项目。

此外,KT还计划将KT NPU LLM Station的应用场景拓展至面向Physical AI的边缘数据中心,用于构建低功耗、低时延的AI基础设施。

KT AX事业本部长(常务)Lee Jin-hyung表示,“KT NPU LLM Station有望成为企业和机构在守住数据主权的同时推进AI转型的现实选择。”

KT还表示,未来将在韩国科学技术信息通信部“Everyone’s AI”项目中采用本土NPU,持续推进主权AI落地,并提升本土AI生态体系的竞争力。

关键词

#KT #主权AI #AI一体机 #NPU #Rebellions #ATOM-MAX #Mi:deum K 2.5 Pro #本地部署 #RAG #API平台
版权所有 © DigitalToday。未经授权禁止转载或传播。