Nvidia ngày 19/10 thông báo mở toàn bộ mã nguồn của Run:ai, nền tảng quản lý tác vụ AI và tài nguyên GPU trên Kubernetes. Mã nguồn được công bố trên GitHub, đồng thời Nvidia cũng phát hành bản cộng đồng của sản phẩm trên NGC.

Theo Nvidia, Run:ai cho phép phân bổ GPU theo nhu cầu trong môi trường Kubernetes, đồng thời hỗ trợ quản lý xuyên suốt quy trình AI, từ xử lý dữ liệu, huấn luyện mô hình đến suy luận.

Công ty cho biết động thái này sẽ giúp các đối tác trong hệ sinh thái DSX cùng các đơn vị vận hành AI trên đám mây nâng hiệu suất sử dụng GPU và tối ưu việc vận hành hạ tầng AI dùng chung.

Phạm vi mã nguồn mở bao gồm toàn bộ nền tảng Run:ai và 4 thành phần cốt lõi có thể sử dụng độc lập. Trong đó, KAI Scheduler đảm nhiệm việc sắp xếp tác vụ để nhiều nhóm cùng chia sẻ tài nguyên cụm theo cách công bằng. GPU Partitioning Operator cho phép nhiều tác vụ dùng chung một GPU. KAI Resource Management thiết lập và bảo đảm hạn mức GPU theo từng phòng ban hoặc dự án. Workload Map cung cấp một cách định nghĩa thống nhất cho các loại tác vụ AI chạy trên Kubernetes.

Người dùng có thể tải mã nguồn từ trang DSX AI Factory trên GitHub. Ngoài ra, Nvidia cũng cung cấp sản phẩm dưới dạng bản cộng đồng trên NGC. Bản này có thể sử dụng miễn phí nhưng không đi kèm dịch vụ hỗ trợ doanh nghiệp từ Nvidia.

Bên cạnh đó, một số đối tác hiện cũng đã tích hợp Run:ai vào dịch vụ của mình hoặc cung cấp dưới dạng dịch vụ quản lý. Danh sách này gồm Crusoe, Nebius, Mirantis, Rafay, Spectro Cloud, Saturn Cloud, OpenNebula Systems và vCluster. Riêng Nebius cung cấp tùy chọn triển khai Run:ai chỉ với một cú nhấp chuột trên nền tảng AI trên đám mây của hãng.

Cùng với Run:ai, Nvidia cũng giới thiệu thêm hai dự án mã nguồn mở liên quan là Model Streamer và Grove. Model Streamer giúp nạp nhanh trọng số mô hình vào bộ nhớ GPU, qua đó rút ngắn thời gian khởi chạy tác vụ suy luận. Trong khi đó, Grove hỗ trợ quản lý các tác vụ suy luận cần nhiều thành phần mở rộng cùng lúc thông qua một API.