Qualcomm表示,正以模块化方式整合AI软件栈,并将其进一步拓展至Snapdragon产品组合。随着AI硬件形态不断增多,围绕不同芯片分别构建软件的成本持续上升,已成为行业面临的主要挑战之一。
在当地时间23日举行的Snapdragon Summit主题演讲中,Qualcomm先进AI软件与平台业务高级副总裁 Chris Lattner表示,Modular软件栈目前已可通过一套统一栈支持6家厂商的6种架构。
Chris Lattner认为,当前AI产业的关键瓶颈之一仍在软件层。所谓AI软件栈,是指AI模型在芯片上运行所需的编程语言、编译器和各类库的组合。尽管行业持续向多样化硬件投入大量资本,但软件栈长期碎片化,导致各硬件团队往往需要从零搭建各自的开发体系。
他表示,开发者过去不得不同时适配多套功能相近却彼此不兼容的软件栈,而不同栈的问题也各不相同。与此同时,AI模型本身又叠加了多层分布式系统的复杂性,只要其中任何一层存在短板,整体竞争力就会受到影响。
为解决这一问题,Qualcomm于今年6月收购Modular,目标是构建覆盖端侧、边缘和数据中心的统一AI计算层,降低对特定芯片架构的依赖。Modular由Chris Lattner联合创立,他此前曾担任公司CEO。过去约四年半时间里,Modular一直在开发可跨多种硬件运行的统一AI软件栈。收购完成后,Chris Lattner也加入Qualcomm。
Modular软件栈由Mojo、MAX和Modular Cloud三层构成。其中,底层Mojo是一种面向AI硬件的高性能编程语言,在保留Python语法风格的同时,也能直接控制硬件,从而减少重复开发。此前,AI开发者普遍使用Python构建模型,但Python本身难以在硬件上高效运行,若要获得更高性能,往往还需改写为C++或CUDA等更底层的语言。Modular已于上月发布Mojo 1.0,并以Apache 2.0许可证开源。
位于Mojo之上的MAX,是面向AI模型设计、构建和部署服务的框架。Qualcomm称,MAX可帮助研究人员将模型高效运行在目标芯片上,并同时覆盖数据中心和本地PC等场景,打通模型开发与实际运行环节。
最上层的Modular Cloud则面向需要大规模算力部署AI的企业客户。Modular可负责资源配置、任务调度、扩展、优化以及利用率管理,用户则继续使用熟悉的API和工具即可。近期,Modular已将支持范围从GPU扩展至数据中心专用加速器,覆盖6种架构,减少了针对不同加速器反复改写代码的需求。
Qualcomm的数据中心加速器也已纳入上述支持范围。Chris Lattner表示,Modular已将其软件栈部署在Qualcomm的NPU软件之上,并应用于该加速器。
此外,Microsoft正与Qualcomm的Modular团队合作,推进Mojo在Windows上的原生支持。Microsoft的目标是,让Windows开发者在沿用熟悉的Python语法进行系统级编程的同时,也能获得最佳性能。
Qualcomm还计划将Modular软件栈从数据中心进一步扩展至更多产品线。Chris Lattner表示,Qualcomm的平台功耗范围覆盖从微瓦级到千瓦级以上,公司正把Modular软件栈引入整个产品组合,其中也包括Snapdragon。