图片来源:SK hynix

韩国本土端侧人工智能(AI)芯片的硬件性能已接近全球主流水平,但在商业化落地上仍被软件短板掣肘。尽管韩国Fabless厂商和AI初创企业推出的神经网络处理器(NPU)在算力规格和低功耗表现上已展现出一定竞争力,但由于客户实际部署所需的SDK和编译器成熟度不足,不少项目在概念验证(PoC)阶段便被淘汰。

据行业消息,在家电、出行、机器人等领域,整机厂即便在PoC阶段评估采用韩国本土端侧AI芯片,最终因开发环境不完善而放弃导入的情况并不少见。核心问题在于,相关厂商尚未提供足够成熟的工具链和开发框架,帮助客户将自有AI模型针对芯片完成优化、编译和部署。对于整机厂开发者而言,相比适配一套陌生的本土NPU开发环境,回到基于Nvidia CUDA生态的海外生态方案,整体开发成本反而更低。这也使得不少本土芯片连充分展示性能的机会都难以获得。

这一瓶颈也与韩国Fabless厂商的投入结构有关。在预算和人力有限的情况下,企业资源更多投向物理芯片设计,编译器、SDK等软件能力建设则被放在次要位置。即便硬件参数持续提升,例如每秒万亿次运算(TOPS)等指标有所改善,能否顺利接入客户开发流程,仍是明显短板。

从技术层面看,问题主要集中在编译环节。AI模型通常以PyTorch或开放神经网络交换(ONNX)格式开发,在转换为NPU可执行的低功耗机器码时,一旦遇到芯片暂不支持的算子,相关任务就会回落到CPU执行,从而形成性能瓶颈。另有消息称,在将16位浮点(FP16)模型压缩为8位整数(INT8)的量化过程中,如果精度损失过大,也会促使整机厂放弃量产导入。即便出现算子映射失败或性能下滑,问题根因往往也难以定位,进一步抬高了导入门槛。

与此同时,调试工具不足同样构成障碍。由于缺少类似Nvidia Nsight、Apple Core ML那样,能够直观显示性能瓶颈所在层级的分析工具(Profiler),整机厂开发者往往只能依靠人工逐项排查问题。

随着开发负担持续加重,整机厂一线团队对本土芯片验证流程的接受度也在下降。大语言模型(LLM)、视觉Transformer、小语言模型(SLM)等模型趋势几乎每月都在变化,而韩国NPU初创企业的SDK更新速度难以及时跟进,这也使整机厂在导入本土芯片时更加谨慎。

研究机构也给出了类似判断。韩国电子通信研究院(ETRI)在一份从软件视角评估AI芯片竞争力的报告中指出,AI芯片市场需要围绕“深度学习框架×芯片类型”的不同组合开发对应编译器。如果软件人才不足的韩国Fabless厂商无法建立通用编译器和配套框架生态,那么即便NPU性能再高,也可能陷入难以量产和销售的局面。

韩国智能信息社会振兴院(NIA)与科学技术政策研究院(STEPI)也将PoC阶段的技术兼容性问题以及SDK缺失,列为韩国本土端侧AI芯片难以获得实际需求方订单的重要原因。两家机构认为,本土NPU的成败并不取决于单颗芯片的算力规格,而取决于软件生态是否完善,以及能否在整机厂等场景形成可验证的落地样板。

AI基础设施企业Modular则将硬件公司难以补齐AI软件体系的原因归结为“组合爆炸”。也就是说,每当半导体等硬件能力向前推进一步,软件团队就必须同时支持不同AI模型类型、量化方式、batch size和框架组合。对于工程师规模不足、团队差距可能达到数百至数千人的Fabless软件团队而言,往往只能疲于应对眼前客户需求,难以持续推进长期的编译器生态建设。

作为例证,市场普遍认为,Nvidia之所以具备全球主导地位,优势并不仅在于GPU算力本身,更在于其过去15至20年间在全球高校和研究机构中沉淀下来的CUDA文档、SDK以及自定义内核生态。对于开发者和企业而言,学习CUDA之外的全新NPU SDK,本身就是不小的机会成本。业内人士表示,在单家Fabless厂商难以独立打造可对标CUDA生态的情况下,行业迫切需要一个能够分摊开发负担、并供芯片供应商与整机厂共同使用的平台。

关键词

#端侧AI #NPU #AI芯片 #SDK #编译器 #PoC #CUDA #ONNX #量化 #软件生态
版权所有 © DigitalToday。未经授权禁止转载或传播。