Anthropic平台负责人 Caitlin Rese。图片来源:Caitlin Rese 的 LinkedIn

GPU等AI芯片短缺早已成为行业共识,而近期市场上又出现了CPU供应趋紧的信号。业内认为,这一变化可能使软件行业面临新的基础设施瓶颈。

Anthropic平台负责人 Caitlin Rese 表示,在CPU供应承压的情况下,软件开发团队需要把重点放在提升软件栈和基础设施效率上,而不是继续默认CPU资源可以随时从云端获得。

Caitlin Rese 近日在社交平台X(原Twitter)发文称,过去企业通常只需要提前规划数据库或GPU资源,CPU则可以在需要时即时从云端租用;但如今,CPU资源也需要提前锁定。对于运营大规模软件系统的团队而言,CPU供应紧张已经成为基础设施规划中必须提前纳入的变量。

据 Caitlin Rese 介绍,当前服务器订单交付周期已由过去的1至2周延长至6个月,价格自3月以来也上涨了10%至20%。她预计,供应紧张的局面还将持续数个季度。

在 Caitlin Rese 看来,推动这一变化的核心因素之一是AI代理。AI代理需要不断循环获取上下文、调用工具并解释结果,会话持续时间越长,对CPU资源的占用就越高;而在执行代码或操作浏览器时,还需要沙箱或容器等运行环境进一步提供支撑。

Caitlin Rese 还提到,Intel在财报电话会上曾表示,AI数据中心中GPU与CPU的配置比例已从8:1降至4:1,随着代理型工作负载增加,未来甚至可能进一步接近1:1;AMD也表达过类似看法。

从供给端看,问题更为复杂。逻辑芯片主要由台积电(TSMC)生产,Intel和Samsung Electronics紧随其后;存储芯片则主要由SK hynix、Samsung Electronics和Micron主导。在AI需求激增的背景下,如果没有持续数年、规模达数百亿美元的资本投入,这些企业很难在短期内显著扩充产能。

Caitlin Rese 表示,TSMC的产线资源本就有限,GPU、CPU以及Apple、Qualcomm、Broadcom等厂商的产品都在争夺同一制造资源;SK hynix、Samsung Electronics、Micron面临的约束也类似,HBM与常规DRAM之间同样存在晶圆资源分配竞争。

从CPU厂商自身情况来看,AMD没有自有晶圆厂,产能依赖TSMC分配;Intel虽然拥有晶圆厂,但正面临良率问题,同时还将部分PC芯片产线转向服务器芯片。与此同时,DRAM产能持续向HBM倾斜,也进一步推高了DRAM价格。

Caitlin Rese 认为,未来数个季度内,CPU供应紧张仍难看到明确的缓解路径,这将成为软件开发团队必须正视的重要变量。围绕应对思路,她将建议概括为四点。

第一,尽快梳理哪些场景对CPU资源“不可替代”。她指出,一些需要隔离运行的工作负载无法与其他租户共享硬件,资源使用效率因此更低;还有部分工作负载必须部署在特定地区或特定区域(Region),或者依赖特定机型。团队需要尽早摸清这些约束,并据此优化资源安排。

第二,尽可能缩短从服务器到货到正式上线的周期。Caitlin Rese 表示,服务器到位并不代表问题已经解决,从搭建新集群到承载真实业务,往往还需要数天甚至数月时间。准备流程是否高效,将直接影响资源投放速度。

第三,优先检查现有基础设施的利用率。她称,从整个行业来看,Kubernetes环境中的平均CPU利用率仅约10%。原因在于,许多团队会按照预估峰值预留大量冗余资源,但之后很少重新校准最初的估算,因此其中仍存在相当大的优化空间。

第四,提升软件栈本身的效率。Caitlin Rese 表示,不仅API服务层需要通过代码和架构优化来降低CPU消耗,AI代理层同样如此。随着代理型应用规模扩大,软件层面的效率改进将变得愈发关键。

关键词

#Anthropic #AI代理 #CPU供应紧张 #AI数据中心 #服务器交付周期 #台积电(TSMC) #Kubernetes #HBM #软件栈优化 #CPU资源规划
版权所有 © DigitalToday。未经授权禁止转载或传播。