搜索关键词 推理引擎
AI & Enterprise
NVIDIA宣布Groq 3 LPX进入量产:面向AI代理,基准测试生成速度最高达每秒3400个token
NVIDIA宣布,面向AI代理的推理加速器Groq 3 LPX已进入量产,并在Hot Chips 2026上正式亮相。该方案可与Vera Rubin NVL72配合,将长上下文处理与解码环节拆分。在Artificial Analysis基准测试中,Groq 3 LPX在10万token上下文窗口下运行Gemma 4 31B时,生成速度最高达到每秒3400个token。Nebius Group等企业将率先部署这一方案。
AI & Enterprise
ESTsecurity与FuriosaAI合作布局新一代AI安全基础设施
ESTsoft旗下网络安全子公司ESTsecurity宣布,已与AI芯片企业FuriosaAI签署合作谅解备忘录(MOU)。双方将围绕基于AI Agent的安全产品与NPU融合展开合作,并推进RNGD推理加速器及其软件栈在AI安全方案中的应用,将其导入安全产品,并用于安全场景小型语言模型(sLLM)推理引擎,同时联合开拓新一代AI安全市场。
AI & Enterprise
OpenAI用GPT-5.6优化自身推理基础设施,端到端服务成本降20%
OpenAI表示,已利用最新模型GPT-5.6优化自家推理引擎和GPU任务分配(资源调度)。其中,高性能版本GPT-5.6 Sol的端到端服务成本下降20%,Token生成效率提升15%。相关优化覆盖推理内核、投机式解码、KV缓存、任务分配及工具调用策略,在相同硬件条件下可承载更多请求。
-
AI & Enterprise
Zhipu建成1GW级国产芯片AI算力中心,港股股价单日涨37%
-
Industry
韩国Fabless企业亮相Electronica Shanghai 2026,瞄准中国汽车、家电和数据中心市场
-
AI & Enterprise
Red Hat调整AI战略:企业控成本需从外部调用转向自建运营
-
AI & Enterprise
IGLOO Corporation入选KISA AI安全项目,推进自律型SOC升级
-
FinTech
FIS携手Anthropic推出金融犯罪AI代理,反洗钱调查缩短至分钟级
-
AI & Enterprise
JobKorea押注“数字档案”取代简历,以AI重构招聘匹配