搜索关键词 token效率
AI & Enterprise
MangoBoost推出无服务器AI推理平台“Mango Inference”,主打秒级部署与低时延
AI基础设施公司MangoBoost在首尔发布无服务器AI推理平台“Mango Inference”。该平台支持用户仅凭一个API密钥接入推理服务,主打秒级部署、低时延和高吞吐,并依托自研全栈AI基础设施及“LLMBoost”优化方案提升推理性能与令牌(Token)效率。
AI & Enterprise
KT发布与Seoul National University、KAIST联合研究成果 加快AI核心技术应用落地
KT宣布,已与Seoul National University和KAIST集中展示过去一年的AI核心技术联合研究成果,并将推动相关成果向模型、平台和服务转化。此次合作研究涵盖代理式AI的上下文理解与推理、负责任AI评估与可信度提升、本土化数据集与行为预测模型、基于用户反馈的强化学习,以及面向大语言模型的提示词压缩优化等方向。
AI & Enterprise
论坛聚焦Agentic AI:成本竞争转向任务总成本,模型性能成关键变量
随着Agentic AI加快落地,业内人士指出,衡量经济性不能只看token价格,更要看完成单项任务的总成本。论坛上,多位与会者认为,减少重试与回溯、提升模型能力,已成为控制成本的关键;在基础设施层面,也需从单纯扩充GPU转向兼顾内存、NPU与整体能效。韩国政府则表示,将把代理式能力作为本土模型发展的重点,并推进安全评估、基于token效率的AI平台核心技术及AI操作系统研发。