搜索关键词 UC San Diego
AI & Enterprise
Dinothicia开源STAR-KV技术，缓解大语言模型推理内存瓶颈
AI基础设施企业Dinothicia公开了KV缓存压缩技术STAR-KV的论文和源代码。论文实验显示，该方案仅凭低秩压缩即可将KV缓存最高减少75%；结合混合精度量化后，整体压缩幅度最高可达20倍，旨在缓解大语言模型长上下文推理中的内存和速度瓶颈。
AI & Enterprise
Google试验用约2000部退役Pixel手机搭建低成本数据中心
Google正与UC San Diego研究团队合作，将退役Pixel手机改造成通用计算平台。研究团队拆除显示屏、电池等非必要部件，并将系统切换为Linux，以运行Kubernetes等编排平台。测试显示，20部手机组成的集群可稳定支撑75名以上学生同时使用相关应用。目前，团队正推进建设由约2000部手机组成的数据中心，以降低算力基础设施成本并减少电子废弃物。
AI & Enterprise
NVIDIA开源量子计算AI模型Ising，聚焦纠错与校准
NVIDIA发布开源量子计算AI模型家族Ising，瞄准量子计算商业化过程中的两大难题——纠错与校准。该模型家族包括解码和校准两类模型，并配套提供工作流指南和NIM微服务，支持针对不同硬件环境进行定制，也可在本地部署运行。
