随着AI服务器对内存的需求持续攀升，仅靠争夺高带宽内存（HBM）产能，已越来越难以解决供需矛盾。存储产业的竞争焦点，正从单纯提升带宽转向提高内存资源利用率。围绕CXL、PIM和高带宽闪存（HBF）构建的分层内存架构，也因此被视为重要方向之一。

行业数据显示，AI服务器已部署的内存中，真正被计算任务有效使用的比例仅为50%至60%。其余内存容量大多被锁定在单台服务器内部，无法在服务器之间灵活调配。随着扩容速度长期落后于需求增长，市场关注点也开始从单纯增加装机量，转向如何盘活闲置资源。

这一“内存看似充足、实际仍然短缺”的矛盾，根源在于服务器架构本身。通常情况下，要同时提升容量和带宽，就需要增加CPU内存通道，而这会进一步推高系统设计复杂度和成本。为了应对工作负载波动，服务器往往会预留超额内存配置，但这些闲置资源又无法被相邻服务器调用，导致数据中心层面大量内存资源被低效占用。

与此同时，依靠供给扩张缓解缺口的空间也在缩小。单个GPU可搭载的HBM数量和容量本身就存在物理限制，而堆叠层数越高，工艺难度和制造成本也越高。业内称，SK hynix与Micron在新增扩产所需的厂区用地方面面临限制；Samsung Electronics则在1c纳米DRAM良率尚未完全稳定的情况下继续推进HBM量产。在新增供给受限的背景下，提升现有内存利用效率正成为更现实的替代方案。

需求侧的变化则来得更快。Yuanta Securities指出，在AI任务执行过程中，GPU真正用于计算的时间占比仅为20%至30%，其余时间主要消耗在数据搬运和等待上。随着AI产业重心由训练转向推理，并进一步迈向Agentic AI，历史对话、判断结果等中间数据的读写频率也显著上升。

在提高内存利用率的多条路径中，率先进入商用阶段的是Compute Express Link（CXL）。CXL通过开放式高速互连接口，将分散在各台服务器中的内存连接起来，从而实现按需动态共享。自2021年推出CXL 2.0以来，该技术已支持内存池化；而CXL后续版本也在持续提升传输能力，并提出更高的带宽目标。研究机构Yole预计，到2028年，CXL市场规模将增至约150亿美元。随着Intel和AMD下一代CPU自2026年起全面支持CXL，相关市场有望进一步提速。

在韩国两大存储厂商中，相关布局更偏向软件和系统管理层。Samsung Electronics在推进基于CXL 2.0的256GB CMM-D量产的同时，也提供用于内存资源分配与管理的编排控制台。SK hynix则已实现96GB和128GB CXL 2.0内存方案商用，并提出将Niagara 2.0软件与CMM-Ax计算内存打包的全栈策略。交换芯片方面，Panmnesia预告将于明年下半年向客户供货；Marvell则在2026年2月宣布以5.4亿美元收购XConn，推进垂直整合。

不过，这一趋势并不意味着某一种产品将取代HBM。SK hynix在FMS 2026主题演讲中提出的“分层内存（Tiered Memory）”概念指出，进入Agentic AI时代后，单一内存类型已难以应对全部挑战：HBM负责提供带宽，CXL承担容量扩展和总拥有成本（TCO）优化，引入计算能力的PIM则主打能效提升，未来系统架构将朝着多层协同方向演进。

PIM目前仍处于验证阶段。Samsung Electronics此前表示，在HBM中引入PIM并搭载于AMD GPU加速卡后，性能可提升2倍，能耗可下降50%。SK hynix则展示了基于GDDR6的加速器AiM及其组合卡AiMX。不过，由于包括编译器在内的软件生态仍不完善，PIM在服务器端的应用目前仍主要局限于特定负载场景。

SK hynix押注“分层内存”，HBF瞄准大容量推理场景

除CXL与PIM外，HBF也被视为下一阶段的重要变量。HBF采用类似HBM的方式垂直堆叠NAND Flash，将大容量数据放到更靠近GPU的位置。虽然其响应速度比DRAM慢1000倍以上，但在一次性搬运大规模数据方面更具优势，因此在以推理为主的应用环境中被认为具备潜力。

今年8月举行的FMS 2026上，SK hynix与SanDisk通过OCP公开了HBF首个标准规格。以2-stack配置为例，其容量最高可达512GB，按不同等级可提供0.4TB/s至3.0TB/s带宽，并采用UCIe接口。Google与Tenstorrent也参与了这一联盟。

从时间表来看，HBF的商用节点普遍指向2027年前后。SK hynix与SanDisk计划于今年下半年推出样品，并在明年初展示首个搭载HBF的AI推理系统。Samsung Electronics则希望凭借其在NAND Flash市场的领先地位，于2027年启动全面量产。

券商普遍认为，这一轮内存技术切换还可能带动后道封装和测试环节受益。Yuanta Securities分析称，新型内存架构的导入，可能推动测试设备、socket、板卡、pin等耗材规格变化，进而成为相关企业平均销售单价（ASP）改善的因素之一。

不过，相关技术能否真正放量，最终仍取决于供应链生态的成熟程度。业内认为，如果NVIDIA对CXL的采用态度不够积极，相关技术扩散速度可能放缓。HBF同样面临耐久性和访问时延等挑战，其中NAND约10万次的寿命限制被视为问题之一。业内人士还指出，除硬件竞争外，能够支撑这些能力的操作系统和软件生态能否完成普及，仍是另一道门槛。