搜索关键词 vLLM
Industry
Rebellions切入韩国公共AI CCTV项目，8月交付国产NPU“ATOM-Max”
AI芯片企业Rebellions表示，公司已在韩国科学技术信息通信部与韩国智能信息社会振兴院（NIA）推进的“基于国产NPU的公共AI CCTV转换”项目中，获得庆尚南道厅和蔚山市CCTV监控中心的服务器基础设施订单。公司将从8月起交付服务器型NPU“ATOM-Max”，用于服务器侧第二阶段视频精细分析与情境说明自动生成。
AI & Enterprise
Dinothicia开源STAR-KV技术，缓解大语言模型推理内存瓶颈
AI基础设施企业Dinothicia公开了KV缓存压缩技术STAR-KV的论文和源代码。论文实验显示，该方案仅凭低秩压缩即可将KV缓存最高减少75%；结合混合精度量化后，整体压缩幅度最高可达20倍，旨在缓解大语言模型长上下文推理中的内存和速度瓶颈。
AI & Enterprise
Red Hat调整AI战略：企业控成本需从外部调用转向自建运营
面向AI Agent加速落地的趋势，Red Hat正在重新调整AI平台战略。Red Hat CTO Chris Wright表示，尽管AI token成本每年下降75%至90%，但企业token使用量每年增长超过500%，单纯依赖外部API和专有模型已难以长期持续。为此，Red Hat推出Red Hat AI Enterprise，主打覆盖基础设施、推理、模型服务与Agent管理等环节的开源全栈能力。
-
Crypto
Nvidia市值升至约5.3万亿美元 AI基础设施扩张提振AI代币预期
-
AI & Enterprise
Motif自建工具链，保留CUDA但淡出NVIDIA软件栈
-
AI & Enterprise
Red Hat举办“Red Hat Tech Day 2026”，聚焦AI就绪混合云平台战略
-
AI & Enterprise
Red Hat将llm-d接入SoftBank AI-RAN编排器AITRAS
-
AI & Enterprise
Modal Labs据悉洽谈新一轮融资，估值或升至25亿美元
-
AI & Enterprise
vLLM团队成立Inferact，获1.5亿美元种子轮融资