Khi HBM (bộ nhớ băng thông cao) không còn đủ để giải bài toán nhu cầu bộ nhớ trên máy chủ AI chỉ bằng cách tăng sản lượng, trọng tâm của ngành đang chuyển sang nâng hiệu quả khai thác tài nguyên sẵn có. Trong bối cảnh đó, mô hình bộ nhớ phân tầng kết hợp CXL, PIM và HBF (flash băng thông cao) được xem là hướng thay thế đáng chú ý.

Theo giới công nghiệp ngày 12/8/2026, trong tổng dung lượng bộ nhớ gắn trên máy chủ AI, phần thực sự được dùng cho tính toán chỉ vào khoảng 50-60%. Phần còn lại thường bị khóa cứng theo từng máy chủ và không thể phân bổ sang hệ thống khác. Khi tốc độ mở rộng dung lượng không theo kịp nhu cầu, đầu tư của ngành vì thế đang dịch chuyển từ tăng sản lượng sang các công nghệ giúp tận dụng phần tài nguyên nhàn rỗi.

Nguyên nhân của tình trạng “thừa mà vẫn thiếu” nằm ở chính kiến trúc máy chủ. Muốn tăng dung lượng và băng thông bộ nhớ, nhà sản xuất phải bổ sung thêm kênh bộ nhớ cho CPU, kéo theo chi phí cao hơn và độ phức tạp kỹ thuật lớn hơn. Vì vậy, các nhà vận hành thường cấu hình dư bộ nhớ cho từng máy chủ để phòng biến động workload. Tuy nhiên, phần dung lượng nhàn rỗi trên một máy chủ lại không thể được máy chủ khác sử dụng, khiến gần một nửa tài nguyên bị lãng phí ở quy mô trung tâm dữ liệu.

Ở phía nguồn cung, việc bù đắp bằng tăng sản lượng cũng không dễ dàng. Số lượng và dung lượng HBM có thể gắn trên một GPU bị giới hạn bởi điều kiện vật lý, trong khi việc tăng số lớp xếp chồng lại làm chi phí và độ phức tạp sản xuất tăng lên. Theo ngành, SK hynix và Micron đang gặp hạn chế về mặt bằng nhà máy để mở rộng công suất. Với Samsung Electronics, sản xuất hàng loạt HBM được cho là vẫn chịu ảnh hưởng bởi việc tỷ lệ thành phẩm của DRAM tiến trình 1c nano chưa ổn định hoàn toàn. Khi dư địa tăng cung ngày càng thu hẹp, nâng hiệu quả sử dụng bộ nhớ đã lắp đặt trở thành phương án thay thế thực tế hơn.

Biến động ở phía nhu cầu lại diễn ra nhanh hơn. Yuanta Securities cho biết trong các tác vụ AI, thời gian GPU thực sự dành cho tính toán chỉ chiếm khoảng 20-30%, phần còn lại là truyền dữ liệu và chờ đợi. Khi trọng tâm của ngành AI dịch chuyển từ huấn luyện sang suy luận, rồi tiếp tục sang agentic AI, tần suất lưu và tải dữ liệu trung gian như lịch sử hội thoại hay kết quả suy luận tăng mạnh.

Hướng đi đầu tiên bước vào giai đoạn thương mại hóa để nâng hiệu quả sử dụng bộ nhớ là Compute Express Link (CXL). Đây là giao diện tốc độ cao mở, cho phép liên kết và chia sẻ linh hoạt bộ nhớ vốn đang phân tán theo từng máy chủ. Từ phiên bản CXL 2.0 công bố năm 2021, công nghệ này đã hỗ trợ memory pooling. Đến CXL 4.0 ra mắt vào tháng 11/2025, tốc độ đạt 128GT/s dựa trên PCIe 7.0, với băng thông hơn 1,5TB/s cho mỗi kết nối logic đơn.

Hãng nghiên cứu Yole dự báo thị trường CXL có thể đạt khoảng 15 tỷ USD vào năm 2028. Theo đánh giá của ngành, từ năm 2026, khi các thế hệ CPU mới của Intel và AMD tăng cường hỗ trợ CXL, thị trường này mới thực sự bắt đầu hình thành.

Động thái của hai doanh nghiệp Hàn Quốc hiện tập trung nhiều hơn vào lớp phần mềm vận hành thay vì chỉ dừng ở phần cứng. Samsung Electronics đang thúc đẩy sản xuất hàng loạt CMM-D 256GB dựa trên CXL 2.0, đồng thời cung cấp kèm orchestration console để quản lý việc phân bổ tài nguyên bộ nhớ. SK hynix đã thương mại hóa các giải pháp bộ nhớ CXL 2.0 dung lượng 96GB và 128GB, đồng thời đưa ra chiến lược full-stack kết hợp phần mềm Niagara 2.0 với bộ nhớ tính toán CMM-Ax. Ở mảng switch, Panmnesia dự kiến bắt đầu cung cấp sản phẩm cho khách hàng từ nửa cuối năm sau. Marvell cũng đang đẩy mạnh tích hợp dọc sau thương vụ mua lại XConn với giá 540 triệu USD vào tháng 2/2026.

Tuy nhiên, xu hướng này không nên được hiểu là một sản phẩm sẽ thay thế HBM. Trong bài keynote tại FMS 2026, SK hynix đưa ra khái niệm “tiered memory”, cho rằng một loại bộ nhớ đơn lẻ không còn đủ đáp ứng yêu cầu của thời kỳ agentic AI. Theo cách tiếp cận này, HBM đảm nhiệm vai trò về băng thông, CXL giúp tối ưu dung lượng và hạ tổng chi phí sở hữu (TCO), còn PIM - công nghệ đưa năng lực tính toán vào trong bộ nhớ - sẽ hỗ trợ bài toán hiệu quả năng lượng trong một cấu trúc phân tầng.

PIM hiện vẫn ở giai đoạn kiểm chứng. Samsung Electronics từng công bố áp dụng PIM cho HBM và gắn lên card tăng tốc GPU của AMD, qua đó giúp hiệu năng tăng gấp đôi và giảm 50% mức tiêu thụ điện năng. SK hynix cũng đã giới thiệu bộ tăng tốc AiM dựa trên GDDR6 và card AiMX kết hợp. Dù vậy, do hệ sinh thái phần mềm, bao gồm cả compiler, vẫn chưa đầy đủ, việc triển khai trên máy chủ hiện mới chỉ giới hạn ở một số workload nhất định.

Một hướng khác đang được chú ý là HBF. Đây là cấu trúc xếp chồng NAND flash theo kiểu HBM, nhằm đưa khối dữ liệu dung lượng lớn lại gần GPU hơn. So với DRAM, HBF có độ trễ cao gấp hơn 1.000 lần, nhưng lại phù hợp với các tác vụ truyền khối dữ liệu lớn theo lô, vì vậy được chú ý trong môi trường thiên về suy luận. Tại FMS 2026 diễn ra vào tháng 8, SK hynix và SanDisk đã công bố bộ đặc tả chuẩn đầu tiên cho HBF thông qua OCP. Theo cấu hình 2-stack, công nghệ này có dung lượng tối đa 512GB, băng thông theo từng cấp từ 0,4 đến 3,0TB/s và sử dụng giao diện UCIe. Google và Tenstorrent cũng tham gia liên minh này.

Thời điểm thương mại hóa HBF được dự báo rơi vào khoảng năm 2027. SK hynix và SanDisk dự kiến tung ra mẫu thử trong nửa cuối năm nay, sau đó đến đầu năm tới sẽ giới thiệu hệ thống suy luận AI đầu tiên tích hợp HBF. Samsung Electronics đặt mục tiêu sản xuất hàng loạt từ năm 2027, dựa trên lợi thế dẫn đầu của hãng trong mảng NAND flash.

Sự dịch chuyển công nghệ này cũng được dự báo sẽ lan sang khâu đóng gói hậu kỳ và kiểm thử. Yuanta Securities phân tích rằng việc áp dụng các kiến trúc bộ nhớ mới có thể kéo theo thay đổi về thông số kỹ thuật của thiết bị test và vật tư tiêu hao như socket, bo mạch hay pin, qua đó hỗ trợ cải thiện giá bán bình quân (ASP) của các doanh nghiệp liên quan.

Rào cản cuối cùng là liệu toàn bộ hệ sinh thái chuỗi cung ứng có sẵn sàng hấp thụ các công nghệ bộ nhớ mới hay không. Theo giới công nghiệp, nếu Nvidia không tích cực tiếp nhận CXL, tốc độ lan tỏa của công nghệ này có thể chậm lại. Với HBF, bài toán còn nằm ở độ bền của NAND - vốn có tuổi thọ khoảng 100 nghìn lần - cũng như độ trễ truy cập. Một đại diện trong ngành nhận định: “Ngoài cuộc đua phần cứng, mức độ hỗ trợ của hệ điều hành và khả năng mở rộng trên toàn hệ sinh thái là một câu chuyện hoàn toàn khác.”