搜索关键词 KV缓存
AI & Enterprise
XCENA亮相OCP Global Summit 2026,展示CXL AI推理内存基础设施
半导体Fabless企业XCENA在美国圣何塞举行的OCP Global Summit 2026上,展示了面向AI推理的CXL内存基础设施技术。公司基于MX1方案带来两项演示,分别聚焦KV缓存共享和NDP向量检索加速,并同步推进与SK hynix的技术合作。
Industry
Qualcomm称手机端可运行300亿参数模型:智能体越强,对大模型依赖越高
Qualcomm在Snapdragon Summit 2026上展示了其端侧AI新架构。通过让数据尽量贴近计算单元,新一代Snapdragon 8 Elite第六代可在智能手机上运行300亿参数模型,并将更多上下文和KV缓存保留在NPU内部,以降低时延。公司同时结合MoE架构与UFS 5.0闪存,支持模型按需从闪存加载运行,并称部分模型的Prefill阶段性能最高提升80%。
Industry
Qualcomm发布新一代Hexagon NPU:共享内存最高提升50%,面向智能体AI
Qualcomm披露了面向下一代高端移动平台的Hexagon NPU设计与性能数据,重点强化智能体AI场景下的端侧推理能力。新架构新增Transformer专用加速器,并将共享内存最高提升50%,以减少DDR访问并降低时延。公司称,在Int4模型基准下,预填阶段性能提升50%;在40亿参数模型上,首个Token生成时间低于1.5秒。
-
AI & Enterprise
Lightbits Labs推出AI推理引擎Infera:扩展KV缓存以提升GPU利用率
-
AI & Enterprise
Rabbleup研究员:智能体普及将推动多模型协同,小型模型使用占比上升
-
Industry
SK hynix将在龙仁、清州新建两座晶圆厂 总投资约54万亿韩元
-
AI & Enterprise
OpenAI用GPT-5.6优化自身推理基础设施,端到端服务成本降20%
-
Industry
SK hynix与十余家客户签署长期供货协议 继续磋商2027年HBM供货与定价
-
Industry
Samsung Electronics、SK hynix今年第二季度营业利润合计或达15万亿韩元,SK hynix DRAM利润率接近80%
-
AI & Enterprise
SoftBank、Meta入局Neocloud,AI云市场冲击AWS等三巨头格局
-
AI & Enterprise
Dinothicia开源STAR-KV技术,缓解大语言模型推理内存瓶颈
-
AI & Enterprise
DeepSeek凭借内存效率支撑低价策略 据悉正洽谈约700亿元人民币融资
-
Industry
Samsung Electronics、SK hynix一季度业绩料超预期 行业景气仍存隐忧
-
Industry
Google推出TurboQuant压缩KV缓存,SK hynix、Samsung Electronics等存储股走低
-
AI & Enterprise
Google发布TurboQuant:大语言模型(LLM)内存占用可降至1/6,速度最高提升8倍
-
Industry
Dinoticia发布企业级AI存储战略,发力AI推理基础设施市场
-
AI & Enterprise
NC AI发布基础模型VAETKI:KV缓存内存占用降低约83%