Samsung Electronics và SK hynix đang chọn hai lộ trình khác nhau cho giai đoạn tiếp theo của thị trường bộ nhớ AI, trong bối cảnh HBM dần lộ rõ giới hạn về điện năng, nhiệt và khả năng mở rộng dung lượng.

Theo giới công nghiệp ngày 25/8, cả hai hãng đều cho rằng chỉ dựa vào HBM hiện nay sẽ khó tiếp tục mở rộng đồng thời băng thông và dung lượng khi khối lượng tính toán AI tăng mạnh. Từ đó, Samsung Electronics tập trung vào kiến trúc xếp chồng 3D để rút ngắn quãng đường truyền dữ liệu giữa bộ nhớ và bộ gia tốc AI, còn SK hynix chọn hướng kết hợp các tầng bộ nhớ có đặc tính khác nhau nhằm nâng dung lượng và tối ưu hiệu suất toàn hệ thống.

Giải pháp zHBM do Samsung Electronics giới thiệu là cấu trúc đặt HBM theo phương thẳng đứng ngay phía trên bộ gia tốc AI (xPU), thay vì bố trí song song bên cạnh như trước. HBM vốn là loại bộ nhớ sử dụng nhiều lớp DRAM xếp chồng để tăng tốc xử lý dữ liệu. Theo Samsung Electronics, hệ thống dùng zHBM có thể đạt hiệu năng cao gấp tối đa 8 lần, hiệu suất trên mỗi watt cao gấp tối đa 3 lần so với HBM5 8 tầng, đồng thời điện trở nhiệt giảm xuống còn dưới một nửa.

Samsung Electronics cũng công bố zNAND-O, công nghệ kết hợp điện cực xuyên silicon (TSV) với V-NAND, cùng V10 BV-NAND thế hệ thứ 10 với hơn 400 lớp.

Ở chiều ngược lại, SK hynix và SanDisk đã công bố bộ tiêu chuẩn đầu tiên cho HBF. Khác với HBM sử dụng DRAM xếp chồng, HBF được xây dựng trên nền NAND flash xếp dọc và được xem là lớp bộ nhớ trung gian giữa HBM tốc độ cao và SSD dung lượng lớn.

Theo bộ tiêu chuẩn này, HBF hỗ trợ dung lượng tối đa 512GB, dựa trên hai cấu hình xếp chồng gồm 8 lớp và 16 lớp die NAND. Băng thông được chia thành ba cấp, hỗ trợ từ 0,4 TB đến 3,0 TB mỗi giây. Chuẩn kết nối với bộ xử lý sử dụng UCIe theo kiến trúc mở.

Bộ tiêu chuẩn được công bố thông qua tổ chức hợp tác mở OCP, với sự tham gia của Google và Tenstorrent trong liên minh (consortium).

Lý do khiến hai công ty tìm kiếm kiến trúc mới là HBM hiện tại đang tiến gần giới hạn vật lý. Tại bài phát biểu chính ở FMS 2026, Kim Kyung-ryun, giám đốc điều hành bộ phận phát triển DRAM của Samsung Electronics, cho biết khách hàng đang yêu cầu hiệu năng bộ nhớ cao gấp 10 lần, trong khi các cấu trúc 2.5D hiện nay như HBM4 và HBM5 đã gần chạm ngưỡng. Theo ông, hướng đi khả thi là chuyển sang xếp chồng 3D theo phương thẳng đứng.

Ông cho rằng khi bộ gia tốc và bộ nhớ nằm trên cùng một mặt phẳng, quãng đường dữ liệu phải di chuyển dài hơn, kéo theo độ trễ và mức tiêu thụ điện tăng lên.

Những giới hạn này cũng được nhắc lại tại Hot Chips 2026, hội nghị thiết kế bán dẫn tổ chức tại Mỹ. Tại sự kiện, bài toán điện năng và khả năng mở rộng của HBM là một trong những chủ đề nổi bật. Dù HBM đã được sử dụng rộng rãi trong lĩnh vực tính toán hiệu năng cao, thiết kế hiện nay được đánh giá là đang tiến sát trần hiệu quả năng lượng cũng như giới hạn mở rộng dung lượng, buộc ngành phải tìm lời giải ở cấp độ kiến trúc.

Trong phần trình bày tại Hot Chips 2026, Samsung Electronics cũng đưa ra số liệu cụ thể về hiệu quả năng lượng của zHBM. Với giả định một GPU gắn bốn HBM, zHBM có thể giúp giảm 100W điện năng tiêu thụ của DRAM so với HBM4E.

Theo Samsung Electronics, mức tiết kiệm ở phần I/O đến từ việc loại bỏ kiến trúc chuyển đổi tín hiệu nối tiếp SERDES giữa bộ gia tốc và bộ nhớ, qua đó tạo thêm dư địa cho hiệu năng tính toán và kiểm soát nhiệt.

Áp lực nguồn cung cũng là một yếu tố thúc đẩy thay đổi kiến trúc. Kiwoom Securities dự báo đến năm 2027, nhu cầu HBM sẽ tăng 56%, vượt mức tăng nguồn cung 50%, khiến tình trạng thiếu hụt nới rộng. Giá bán trung bình của HBM4 trên thị trường vì vậy có thể tăng 65%. Trong bối cảnh đó, chiến lược nâng hiệu năng bằng cách tăng thêm số lượng HBM sẽ gặp rào cản cả về sản lượng lẫn chi phí.

Sự điều chỉnh đã bắt đầu xuất hiện trên thị trường. Eugene Investment & Securities phân tích việc Nvidia giảm lượng HBM trên bộ gia tốc thế hệ mới Rubin Ultra là hệ quả của việc nguồn cung HBM không theo kịp kế hoạch sản xuất bộ gia tốc.

Đây cũng là bối cảnh khiến SK hynix chọn HBF. Nếu dữ liệu tham chiếu phục vụ suy luận AI được chuyển từ lớp HBM đắt đỏ xuống tầng bộ nhớ dựa trên NAND, hệ thống có thể xử lý khối lượng dữ liệu lớn hơn với cùng mức chi phí. Eugene Investment & Securities nhận định tình trạng thiếu hụt DRAM và HBM càng nghiêm trọng, xu hướng dịch chuyển dữ liệu theo hướng này càng lan rộng, qua đó kéo nhu cầu NAND đi lên.

Do theo đuổi hai hướng tiếp cận khác nhau, thách thức của mỗi bên cũng khác nhau. Với Samsung Electronics, áp lực lớn nằm ở bài toán nhiệt do bộ nhớ được đặt ngay phía trên bộ gia tốc, vốn là thành phần tỏa nhiệt lớn. Công ty cho biết đã tính đến yếu tố này và áp dụng thiết kế giảm số lớp DRAM xếp chồng so với HBM hiện tại.

Trong khi đó, thách thức của SK hynix là mở rộng hệ sinh thái doanh nghiệp cùng tham gia chuẩn mới. SanDisk, đối tác phát triển HBF, cho biết đã hoàn tất thiết kế die bộ nhớ HBF đầu tiên và sẽ cung cấp mẫu ban đầu cho khách hàng phục vụ suy luận AI trong năm 2027. Sau đó, công ty đặt mục tiêu bắt đầu sản xuất hàng loạt SSD doanh nghiệp ứng dụng HBF từ đầu năm 2027.

Về dài hạn, Eugene Investment & Securities cũng dự báo DRAM có thể được phát triển theo hướng tùy biến cho từng doanh nghiệp. Theo phân tích này, xu hướng DRAM xếp chồng 3D có thể dịch chuyển từ sản phẩm phổ thông sang mô hình đồng phát triển ngay từ đầu cho từng chip bán dẫn cụ thể. Khi nhà sản xuất bộ nhớ phải tham gia từ giai đoạn đầu và chi phí thay đổi nhà cung cấp sau khi thiết kế đã chốt tăng cao, số lượng nhà cung cấp có thể đáp ứng cho từng chip cũng sẽ thu hẹp.