CEO Arm Rene Haas cho biết nhu cầu CPU tại các trung tâm dữ liệu có thể tăng nhanh hơn dự báo trước đây khi Agent AI được triển khai rộng rãi. Theo ông, với cùng mức điện năng, số lõi CPU cần thiết cho trung tâm dữ liệu có thể tăng hơn 4 lần so với hiện nay.

Thông tin được CEO Arm Rene Haas đưa ra trong bài phát biểu khai mạc Computex ngày 2/6 theo giờ địa phương, theo iThome của Đài Loan.

Ông Haas cho biết trong hai năm qua, dòng vốn đầu tư vào AI tạo sinh chủ yếu tập trung vào GPU. Tuy nhiên, khi Agent AI trở nên phổ biến, cơ cấu nhu cầu tính toán đang thay đổi. Nếu GPU đảm nhiệm việc sinh token trong quá trình huấn luyện và suy luận, thì Agent AI không chỉ tạo câu trả lời mà còn liên tục thực thi tác vụ, gọi công cụ, điều phối quy trình và phối hợp với các agent khác.

Theo CEO Arm, các tác vụ như quản lý token, phân bổ tài nguyên, điều phối và thực thi sẽ ngày càng chuyển sang CPU.

Tháng 3, Arm lần đầu công bố Arm AGI CPU, đánh dấu bước chuyển từ mô hình cung cấp IP kiến trúc sang thị trường CPU cho trung tâm dữ liệu AI. Sản phẩm này được thiết kế cho triển khai quy mô lớn, dựa trên kiến trúc Neoverse và nền tảng Compute Subsystem của Arm.

Ông Haas nói thêm rằng khi hãng đưa ra dự báo hồi tháng 3 về quy mô thị trường CPU có thể vượt 120 tỷ USD trong 5 năm tới, nhiều ý kiến khi đó cho rằng nhận định này quá lạc quan. Tuy nhiên, quan điểm của thị trường đang thay đổi cùng với tốc độ tăng trưởng của Agent AI.

Theo ông, khi OpenAI Codex, Anthropic, Salesforce và ServiceNow bắt đầu tích hợp agent vào sản phẩm, nhu cầu CPU cũng tăng nhanh hơn các ước tính trước đó.

Arm nhấn mạnh hiệu suất năng lượng là lợi thế cạnh tranh cốt lõi của Arm AGI CPU. Theo số liệu hãng công bố, hiệu năng trên mỗi watt của sản phẩm này cao gấp khoảng 2 lần so với các hệ thống x86 cùng phân khúc.

Cụ thể, với hệ thống làm mát bằng không khí, ở ngưỡng 36 kW, cấu hình có thể hỗ trợ 8.160 lõi CPU cùng hơn 180 TB bộ nhớ độ trễ thấp. Với hệ thống làm mát bằng chất lỏng, ở mức 200 kW, quy mô có thể vượt 45.000 lõi CPU và hơn 1 PB bộ nhớ.

Ông Haas cho rằng trọng tâm cạnh tranh của trung tâm dữ liệu AI đang dịch chuyển từ hiệu năng chip đơn thuần sang năng lực tính toán trên mỗi đơn vị điện năng. Ông lấy ví dụ, một rack gồm 17 máy chủ 2U chạy trên nền tảng x86 có thể chứa 4.352 lõi, trong khi cấu hình 30 máy chủ 1U dùng Arm AGI CPU có thể đạt 8.160 lõi.

Arm ước tính việc triển khai CPU nền tảng Arm ở quy mô lớn có thể giúp giảm khoảng 10 GW công suất điện và hơn 10 tỷ USD chi phí đầu tư hạ tầng.

Hiện Arm AGI CPU đã được OCI và ByteDance lựa chọn. Một số dòng CPU trung tâm dữ liệu khác như Google Axion, AWS Graviton, Nvidia Grace và Vera cũng được phát triển trên kiến trúc Arm.

Làn sóng Agent AI cũng đang lan sang thị trường PC. Nền tảng điện toán PC Nvidia RTX Spark được Nvidia công bố trước đó một ngày tích hợp CPU Grace tùy biến do MediaTek phát triển, cũng dựa trên kiến trúc Arm.

CEO Nvidia Jensen Huang nhận định PC sẽ chuyển từ thiết bị để người dùng trực tiếp chạy ứng dụng thành nền tảng điện toán nơi các agent thực thi công việc. Ông cũng cho biết với định dạng nén mô hình NVFP4 mới, PC có thể chạy mô hình AI quy mô 100 tỷ tham số, qua đó cho phép xử lý nhiều tác vụ của agent ngay trên thiết bị thay vì trên đám mây.