Nvidia ngày 26/8 (giờ địa phương) công bố NVHBM, công nghệ bộ nhớ băng thông cao thế hệ mới được tích hợp vào nền tảng NVLink Fusion. Điểm đáng chú ý của công nghệ này là Nvidia tự thiết kế bộ điều khiển HBM và đưa thành phần này vào ngay bên trong cấu trúc bộ nhớ.

HBM (High Bandwidth Memory) là loại bộ nhớ DRAM xếp chồng theo chiều dọc để tăng tốc độ xử lý dữ liệu. Nvidia cho biết hãng sẽ đưa ra chuẩn triển khai cho NVHBM, trong khi các đối tác bộ nhớ chủ chốt sẽ xác thực và cung ứng sản phẩm theo cùng chuẩn này.

Thay đổi lớn nhất của NVHBM nằm ở vị trí bộ điều khiển bộ nhớ. Với kiến trúc HBM hiện nay, bộ điều khiển thường nằm trên die XPU, tức chip tính toán. Với NVHBM, Nvidia chuyển bộ điều khiển tùy biến do hãng tự thiết kế xuống base die của HBM, đưa controller vào bên trong cấu trúc bộ nhớ xếp chồng 3D.

Theo Nvidia, cách tiếp cận này có thể giúp băng thông bộ nhớ tăng tối đa 30% so với HBM4E, đồng thời giảm tối đa 15% điện năng tiêu thụ của HBM. Hãng cũng cho biết việc chuyển controller khỏi die tính toán có thể giải phóng tối đa 25% diện tích trên XPU để dành cho mạch tính toán. Tuy nhiên, toàn bộ các số liệu trên hiện mới do Nvidia công bố và chưa có kết quả kiểm chứng từ bên thứ ba.

Nvidia cho rằng việc xây dựng một chuẩn triển khai thống nhất sẽ cho phép nhiều nhà cung cấp bộ nhớ cùng đưa ra NVHBM với chung quy cách kỹ thuật. Nhờ đó, các doanh nghiệp phát triển chip tùy biến có thể giảm khối lượng công việc tích hợp và thẩm định bộ nhớ theo từng nhà cung cấp. Hãng cho biết kiến trúc này cũng giúp khách hàng của NVLink Fusion rút ngắn thời gian phát triển chip AI tùy biến, do cơ chế điều khiển trong bộ nhớ được chuẩn hóa theo Nvidia thay vì mỗi nhà thiết kế chip phải tự xác định.

NVLink Fusion là công nghệ kết nối XPU và CPU của các doanh nghiệp bên ngoài với nền tảng hạ tầng cấp rack của Nvidia. Các công ty tham gia có thể sử dụng NVLink chiplet, NVLink-C2C, NVLink switch, cùng hệ thống và rack MGX. Nvidia đồng thời cung cấp hệ sinh thái đối tác gồm các hãng CPU, đơn vị thiết kế ASIC và nhà sản xuất hệ thống.

Theo Nvidia, NVHBM được phát triển trên nền tảng công nghệ mà hãng dự kiến áp dụng cho các GPU trong tương lai và sẽ được mở rộng cho khách hàng NVLink Fusion. Công ty nhận định khi AI agent và các mô hình quy mô 1.000 tỷ tham số trở nên phổ biến, hiệu năng của hạ tầng AI sẽ không còn phụ thuộc đơn thuần vào sức mạnh tính toán. Thay vào đó, năng lực tính toán, bộ nhớ, lưu trữ, mạng và phần mềm cần được thiết kế như một hệ thống thống nhất.

Annapurna Labs là đối tác NVHBM đầu tiên.

Annapurna Labs, công ty con chuyên thiết kế bán dẫn của Amazon, là đối tác đầu tiên tham gia hợp tác về NVHBM. Trong khuôn khổ hợp tác với Nvidia xoay quanh NVLink Fusion, Annapurna Labs sẽ cùng triển khai công nghệ NVHBM và kiến trúc scale-up của NVLink. Phó chủ tịch Annapurna Labs, ông Nafea Bshara, đánh giá NVHBM là một cách tiếp cận kiến trúc mới nhằm nâng hiệu năng và hiệu suất của HBM, đồng thời kỳ vọng sự hợp tác này sẽ hỗ trợ thiết kế hạ tầng AWS trong tương lai.

Annapurna Labs cũng sẽ hỗ trợ NVLink Fusion thông qua chip nội bộ thế hệ tiếp theo Trainium4. Theo đó, chip do Amazon tự thiết kế và GPU của Nvidia sẽ được tích hợp trong cùng một kiến trúc cấp rack. Nvidia cho biết thỏa thuận này nối tiếp kế hoạch hỗ trợ NVLink Fusion mà AWS đã công bố trước đó, theo mô hình doanh nghiệp tập trung nguồn lực cho phát triển XPU, còn mạng, hệ thống rack và phần mềm dựa trên bộ công nghệ đã được kiểm chứng.