Ngày 23/3, Samsung SDS công bố đưa vào vận hành dịch vụ GPUaaS sử dụng GPU Nvidia B300 (Blackwell Ultra) trên Samsung Cloud Platform (SCP), đánh dấu lần đầu tiên một dịch vụ GPU B300 được cung cấp tại Hàn Quốc.

Theo Samsung SDS, B300 được trang bị HBM3E 12 tầng, cung cấp 288 GB bộ nhớ cho mỗi GPU và băng thông đạt 8 TB/giây. So với H100, dung lượng bộ nhớ cao hơn 3,6 lần và băng thông lớn hơn 2,4 lần, qua đó cải thiện đáng kể năng lực xử lý suy luận AI.

Doanh nghiệp cho biết với các mô hình ngôn ngữ lớn (LLM), hiệu năng tổng thể thường bị ảnh hưởng bởi tình trạng nghẽn dữ liệu, khi tốc độ truyền dữ liệu của bộ nhớ không theo kịp năng lực tính toán của GPU. B300 được kỳ vọng giúp giảm nút thắt này nhờ bộ nhớ dung lượng lớn và băng thông cao hơn.

Trước đó, Samsung SDS đã lần lượt cung cấp GPUaaS dựa trên A100 vào năm 2021 và H100 vào năm 2023. Các dịch vụ này phục vụ xây dựng, vận hành hạ tầng đám mây chuyên dụng cho AI cũng như triển khai dịch vụ cho khách hàng.

Samsung SDS cho biết khách hàng sử dụng SCP B300 GPUaaS có thể vận hành hiệu quả các mô hình AI quy mô lớn nhờ dung lượng bộ nhớ cao, từ đó giảm độ trễ cho những dịch vụ đòi hỏi hiệu năng lớn như AI agent, tạo sinh và phân tích hình ảnh, video hay mã nguồn.

Trong quý III năm nay, công ty cũng dự kiến bổ sung dịch vụ suy luận serverless, tính phí theo số lượng token sử dụng thay vì tách riêng chi phí hạ tầng. Bên cạnh đó là dịch vụ huấn luyện AI, cho phép tự động triển khai huấn luyện phân tán khi nhà phát triển nhập mã và dữ liệu.

Ông Lee Ho-jun, Phó chủ tịch kiêm Giám đốc Bộ phận Kinh doanh Dịch vụ Đám mây của Samsung SDS, cho biết công ty sẽ cung cấp dịch vụ GPU B300 đầu tiên tại Hàn Quốc cho nhiều nhóm khách hàng, từ tập đoàn lớn, doanh nghiệp vừa và nhỏ đến khối công. Theo ông, nền tảng này sẽ giúp nâng hiệu quả sử dụng GPU nhờ tối ưu tài nguyên và tiết kiệm năng lượng, qua đó hỗ trợ mạnh hơn cho quá trình chuyển đổi AX.