搜索关键词 长上下文推理
AI & Enterprise
Dinothicia开源STAR-KV技术，缓解大语言模型推理内存瓶颈
AI基础设施企业Dinothicia公开了KV缓存压缩技术STAR-KV的论文和源代码。论文实验显示，该方案仅凭低秩压缩即可将KV缓存最高减少75%；结合混合精度量化后，整体压缩幅度最高可达20倍，旨在缓解大语言模型长上下文推理中的内存和速度瓶颈。
AI & Enterprise
外媒实测Gemini 3.5 Flash：代码生成、长上下文推理与多模态任务表现突出
Google在I/O 2026上集中展示Gemini多项新能力，Gemini 3.5 Flash则被视为更强调实用性的主力模型。外媒在代码生成、行程规划、手工制作、清洁方案和并行推理等五类场景中测试后认为，该模型在上下文保持、任务切换和多条件处理方面表现突出。不过，若要覆盖更多真实工作场景，其可获得的信息权限及相应的管理和控制能力仍是关键。
AI & Enterprise
NVIDIA发布新一代DGX SuperPOD，基于Rubin平台打造
NVIDIA在CES 2026上发布基于下一代Rubin平台的DGX SuperPOD，并展示面向Agentic AI和大规模推理的AI基础设施蓝图。该系统最高配置由8套DGX Vera Rubin NVL72组成，搭载576块Rubin GPU，可提供28.8 Exaflops FP4算力和600TB高速内存。