搜索关键词 KV缓存
Industry
Samsung Electronics、SK hynix一季度业绩料超预期 行业景气仍存隐忧
多家机构预计,Samsung Electronics和SK hynix今年一季度盈利将明显改善,主要受DRAM、NAND平均售价上涨及韩元兑美元汇率走强带动。不过,存储器价格快速上行也在加大终端厂商成本压力,叠加技术演进和地缘因素扰动,市场对后续行业景气持续性仍保持谨慎。现货价格走势及大型科技公司的资本开支节奏,将成为接下来观察半导体周期的重要指标。
Industry
Google推出TurboQuant压缩KV缓存,SK hynix、Samsung Electronics等存储股走低
Google发布AI新技术TurboQuant,称可大幅压缩大语言模型的KV缓存,将模型运行所需内存降至原来的六分之一,并提升推理速度。受此影响,市场对HBM等高端存储需求前景的担忧升温,美韩日多家存储与半导体公司股价下跌。不过,也有观点认为,本轮回调更多是资金获利了结,长期需求仍具韧性。
AI & Enterprise
Google发布TurboQuant:大语言模型(LLM)内存占用可降至1/6,速度最高提升8倍
Google发布面向大语言模型的新压缩算法TurboQuant,主要用于压缩Key-Value Cache(KV缓存),以在降低内存占用的同时尽量维持模型性能和准确性。根据Google披露的初步测试结果,该算法在部分实验中可将内存占用压缩至原来的1/6,运行速度最高提升8倍,并已在Gemma、Mistral等开源模型上完成测试。