Khi AI agent ngày càng phổ biến, mô hình hạ tầng AI vốn thiên về GPU đang dần thay đổi, với vai trò của CPU tăng lên rõ rệt.

Trong một bài viết phân tích lý do CPU trở nên quan trọng hơn ở kỷ nguyên AI agent, AmazonNews cho rằng môi trường AI mới không còn chỉ xoay quanh năng lực huấn luyện mô hình hay xử lý song song quy mô lớn.

Theo AmazonNews, trong thời gian dài, khi nhắc đến hạ tầng AI, trọng tâm chủ yếu là các chip phục vụ huấn luyện mô hình quy mô lớn. Những bộ tăng tốc AI như Trainium và GPU được tối ưu cho xử lý song song lượng dữ liệu lớn, vì vậy đặc biệt phù hợp với các tác vụ huấn luyện.

Tuy nhiên, AI agent vận hành theo cách khác. Nếu LLM chủ yếu nhận prompt và tạo đầu ra thông qua tính toán song song, thì AI agent đóng vai trò điều phối tác vụ, tự thực hiện các quy trình nhiều bước để hoàn thành mục tiêu.

AmazonNews lấy ví dụ, khi nhận yêu cầu như «nghiên cứu công ty này và viết báo cáo», AI agent sẽ tự chia nhỏ công việc theo từng bước, mở trình duyệt để theo các liên kết liên quan, phân tích tệp, chạy mã và tạo kết quả.

Trong quá trình đó, bên cạnh phần suy luận của mô hình, các tác vụ như xử lý logic, quản lý tệp, gọi công cụ qua mạng và thực thi mã phần lớn do CPU đảm nhiệm.

AWS Graviton được giới thiệu là dòng CPU được thiết kế cho khối lượng công việc chạy liên tục, đòi hỏi độ trễ thấp như vậy.

AmazonNews cho biết AI agent thường lặp lại rất nhanh các bước như truy vấn dữ liệu, gọi công cụ, thực thi hành động và xác định bước tiếp theo. Với đặc điểm đó, Graviton được thiết kế để rút ngắn tối đa thời gian trao đổi dữ liệu giữa các thành phần bên trong bộ xử lý.