NVIDIA宣布将AI工作负载与GPU资源管理平台Run:ai全面开源。
据介绍，Run:ai支持在Kubernetes环境中按需切分、分配和调度GPU资源，可覆盖从数据处理、模型训练到推理部署的AI全流程。NVIDIA表示，此次开源有助于DSX生态合作伙伴及AI云服务商提升GPU利用率，并提高共享式AI基础设施的运营效率。
此次开放范围包括平台全部代码，以及四大可独立使用的核心组件。具体来看，KAI Scheduler负责多团队场景下的任务调度，实现集群资源的公平分配；GPU Splitting Operator支持多任务共享单块GPU；KAI Resource Management可按部门和项目设置并保障GPU配额；Workload Map则以统一方式定义在Kubernetes上运行的各类AI工作负载。
目前，相关源代码已在GitHub的DSX AI Factory组织提供，同时也可通过NVIDIA NGC以社区版形式下载使用。社区版无需付费订阅，但不包含NVIDIA企业级技术支持。
除NVIDIA外，多家合作伙伴也已通过自身服务提供Run:ai，包括Crusoe、Nebius、Mirantis、Lifai、Spectro Cloud、Saturn Cloud、OpenNebula Systems和vCluster等。相关厂商已完成集成，或以托管服务形式对外提供该平台。Nebius还在其AI云服务中提供“一键部署Run:ai”能力。
此外，NVIDIA还介绍了两个相关开源项目Model Streamer和Grove。其中，Model Streamer用于将模型权重快速加载至GPU显存，以缩短推理任务启动时间；Grove则支持通过单一API管理需要多组件协同扩展的推理工作负载。
记者信息
Chi-gyu Hwang
delight@d-today.co.kr