Amazon当地时间10月19日在官方博客宣布,将推出TorchNeuron,使研究人员和开发者无需改写PyTorch代码,即可将相关工作负载运行在其自研AI芯片Trainium上。
据介绍,在此之前,使用PyTorch的开发者若要将工作负载迁移到新的芯片平台,通常需要花费数月时间重写并验证代码。借助TorchNeuron,开发者只需调整一项配置即可完成迁移,同时还能继续使用原有的测试、调试和扩展工具。
Amazon表示,TorchNeuron计划于10月20日举行的“PyTorch Conference North America”期间正式开源。
Amazon还强调,对许多企业尤其是初创公司而言,真正高昂的成本并不在芯片本身,而在于为适配新硬件所投入的开发人力和时间。若开发者必须为新平台修改软件,也会直接拖慢产品迭代速度。
该公司同时指出,随着开发者在不同芯片之间切换的门槛降低,芯片厂商之间的竞争也将进一步加剧,整体开发成本有望随之下降。
此外,Amazon称,正与PyTorch社区共同推进代码改进,以避免PyTorch与特定芯片深度绑定。
在实际应用方面,语音AI公司Cartesia几乎无需改写PyTorch代码,便已在Trainium上运行推理任务。River Brain Development Research Institute目前也在新药研发中使用TorchNeuron,该机构从事精神及神经类疾病(如精神分裂症)疗法研究。Hugging Face则已在其AI开发工具中默认支持Trainium。
目前,TorchNeuron支持Trainium2和Trainium3。