搜索关键词 KV缓存
AI & Enterprise
Lightbits Labs推出AI推理引擎Infera:扩展KV缓存以提升GPU利用率
Lightbits Labs正式推出AI推理软件引擎Infera,核心在于将KV缓存从容量有限的GPU HBM中扩展出来,并借助预测式预取在HBM、DRAM和NVMe之间进行分层管理。该产品主要面向长上下文、高并发会话等大语言模型推理场景,旨在提升性能表现和成本效率。
AI & Enterprise
Rabbleup研究员:智能体普及将推动多模型协同,小型模型使用占比上升
Rabbleup研究员Lee Junbeom表示,在生成式AI服务中,不同规模模型分工协作已成为常态。检索、信息收集、摘要等任务通常由小型模型完成,关键判断和内容生成则由前沿大模型负责。随着智能体应用加快普及,模型调用频率持续上升,推理成本压力也随之加大,多模型协同和小型模型的应用比重预计将进一步提高。
Industry
SK hynix将在龙仁、清州新建两座晶圆厂 总投资约54万亿韩元
SK hynix决定在京畿道龙仁和忠清北道清州分别新建DRAM与NAND晶圆厂,总投资约54万亿韩元。两大项目将分阶段推进,以应对AI带动的存储需求增长,并依托清州现有园区基础设施加快落地。
-
AI & Enterprise
OpenAI用GPT-5.6优化自身推理基础设施,端到端服务成本降20%
-
Industry
SK hynix与十余家客户签署长期供货协议 继续磋商2027年HBM供货与定价
-
Industry
Samsung Electronics、SK hynix今年第二季度营业利润合计或达15万亿韩元,SK hynix DRAM利润率接近80%
-
AI & Enterprise
SoftBank、Meta入局Neocloud,AI云市场冲击AWS等三巨头格局
-
AI & Enterprise
Dinothicia开源STAR-KV技术,缓解大语言模型推理内存瓶颈
-
AI & Enterprise
DeepSeek凭借内存效率支撑低价策略 据悉正洽谈约700亿元人民币融资
-
Industry
Samsung Electronics、SK hynix一季度业绩料超预期 行业景气仍存隐忧
-
Industry
Google推出TurboQuant压缩KV缓存,SK hynix、Samsung Electronics等存储股走低
-
AI & Enterprise
Google发布TurboQuant:大语言模型(LLM)内存占用可降至1/6,速度最高提升8倍
-
Industry
Dinoticia发布企业级AI存储战略,发力AI推理基础设施市场
-
AI & Enterprise
NC AI发布基础模型VAETKI:KV缓存内存占用降低约83%