随着AI智能体加速普及，原本长期由GPU主导的AI基础设施，正逐步将重心转向CPU。
Amazon News近日发文指出，在AI智能体时代，CPU在基础设施中的作用正在持续上升。
文章称，此前围绕AI基础设施的讨论，多集中在大模型训练芯片上。无论是Trainium等AI加速器，还是GPU，都擅长海量数据的并行处理，因此更适合模型训练场景。
不过，AI智能体的运行方式与传统大模型并不相同。如果说LLM在接收提示词后，通过并行计算生成结果，更像“计算器”模式，那么AI智能体则更接近能够自主完成多步骤任务的“管理者”模式。
例如，当用户发出“调查这家公司并撰写报告”的指令后，智能体会先将任务拆解为多个步骤，再依次完成打开浏览器搜索信息、分析文件、运行代码并生成结果等操作。
Amazon News指出，除了推理之外，逻辑处理、文件处理、网络调用和代码执行等任务，大多由CPU承担。
AWS Graviton正是面向这类常驻运行、低时延负载设计的CPU。
在AI智能体场景中，数据查询、工具调用、执行动作以及下一步判断，往往需要以高频方式循环完成。Amazon News表示，Graviton的设计目标之一，就是尽可能缩短芯片内部各模块之间的数据传输时间。
记者信息
Chi-gyu Hwang
delight@d-today.co.kr