搜索关键词 内存瓶颈
Industry
ETH Zurich推出新型量子芯片架构:以微机械振动存储量子信息
ETH Zurich团队提出一种指甲盖大小的量子芯片新架构,利用远超人耳可听范围的微机械振动,在HBAR声学谐振器中构建多个量子存储单元,实现运算与存储分离。团队已在该芯片上演示量子傅里叶变换和周期查找算法,最终目标瞄准量子随机存取存储器(QRAM),但距离实际应用仍需进一步验证扩展能力与计算性能。
AI & Enterprise
Dinothicia开源STAR-KV技术,缓解大语言模型推理内存瓶颈
AI基础设施企业Dinothicia公开了KV缓存压缩技术STAR-KV的论文和源代码。论文实验显示,该方案仅凭低秩压缩即可将KV缓存最高减少75%;结合混合精度量化后,整体压缩幅度最高可达20倍,旨在缓解大语言模型长上下文推理中的内存和速度瓶颈。
AI & Enterprise
AMD宣布收购Mext,加码破解AI数据中心内存瓶颈
AMD宣布收购数据中心内存优化初创公司Mext,交易金额未予披露。AMD表示,Mext的“AI原生内存分层”技术可用于缓解AI数据中心的内存瓶颈,提升基础设施利用率、降低运营成本,并将相关能力纳入其数据中心产品线。