图片来源:Google

Google发布开源项目TorchTPU,意在降低基于PyTorch的AI应用迁移至其TPU和Google Cloud平台的门槛。

据TechCrunch 20日(当地时间)报道,TorchTPU的核心能力,是让现有PyTorch应用无需改写代码即可在TPU上运行。开发者只需进行少量配置修改,便可将应用迁移至TPU,并部署到Google Cloud。

PyTorch由Meta于2016年推出,是目前AI模型构建、训练和推理领域应用最广泛的开源工具之一。有统计称,约85%的AI应用基于PyTorch开发。

由于PyTorch诞生之初,NVIDIA GPU仍是AI研究领域的主流硬件,因此其不少功能设计也与NVIDIA硬件生态密切相关。Meta已于2022年将PyTorch转交非营利组织Linux基金会管理。

就在此前一天,Amazon也发布了面向PyTorch生态的工具TorchNeuron。该工具同样支持开发者在无需改动PyTorch应用代码的情况下,将应用迁移至Amazon自研AI芯片Trainium及AWS平台。

TechCrunch称,Amazon还向PyTorch项目提交了相关代码,以推动部分功能摆脱对NVIDIA芯片的依赖。

Google表示,公司已与Meta、Hugging Face、vLLM开发公司Inferact,以及Sglang开发公司RadixArc等展开合作,以确保TorchTPU能够与主流AI开发工具顺畅协同。

除TorchTPU外,Google还推出了“TPU Agent Suite”,用于协助应用迁移和问题排查;面向手机、笔记本电脑和嵌入式设备端侧AI的LiteRT也已完成升级,以更好支持与PyTorch应用的协同。

TechCrunch指出,仅凭上述变化,尚难断言AI应用开发者会在短期内大规模转向非NVIDIA硬件。不过,Google和Amazon正试图通过降低迁移至替代芯片和云平台的门槛,动摇NVIDIA的优势地位。

关键词

#Google #TorchTPU #PyTorch #TPU #Google Cloud #TPU Agent Suite #LiteRT #Amazon #Trainium #NVIDIA GPU
版权所有 © DigitalToday。未经授权禁止转载或传播。