搜索关键词 批处理
AI & Enterprise
Microsoft称AI单次请求耗电或远低于既有估算，回应“ChatGPT单次提问的耗电量约为谷歌搜索的10倍”说法
Microsoft公布AI推理能耗测算结果称，在真实服务环境下，大语言模型单次请求的耗电量可能仅为既有估算的四分之一到二十分之一。按回复长度约300个token计算，中位耗电为0.31Wh；若回复增至约5000个token，中位值将升至3.91Wh。公司同时披露了大规模请求场景下的用电和冷却耗水估算，并强调AI能耗更受处理方式和回复长度影响。
AI & Enterprise
KAIST推出AI服务器“虚拟试验场”：无需先建昂贵硬件即可验证性能
KAIST研发出面向LLM服务基础设施的仿真平台LLMServingSim 2.0，可在无需提前搭建高成本AI服务器的情况下评估性能、功耗和稳定性。除GPU部署方案外，该平台还支持NPU、PIM以及基于CXL的内存扩展方案。相关研究获得ISPASS 2026最佳论文奖，平台也已开源。
AI & Enterprise
Runpod推出开源Python SDK“Flash”，加快AI推理部署落地
AI开发者云平台Runpod推出开源Python SDK“Flash”，帮助开发者将Python代码更快部署到生产环境，减少基础设施配置负担。该工具可将本地Python函数快速封装为可自动扩缩的端点，支持队列模式和负载均衡端点两种部署方式，已在PyPI和GitHub开放获取。
