Các hãng chip đang lần lượt đưa ra thước đo mới để đánh giá hiệu năng trong kỷ nguyên AI agent. Theo các doanh nghiệp này, TOPS hay một điểm benchmark đơn lẻ không còn đủ để phản ánh khối lượng tác vụ nhiều bước mà AI agent thực sự xử lý. Vì vậy, họ bắt đầu công khai cả phương pháp lẫn điều kiện thử nghiệm, nhằm tạo cơ sở để bên ngoài kiểm chứng lại kết quả.

Ngày 20/10, theo giới công nghiệp, động lực thúc đẩy các hãng chip xây dựng tiêu chuẩn mới đến từ giới hạn của các chỉ số truyền thống. TOPS (tera operations per second) - thước đo thường được dùng khi công bố hiệu năng chip AI - chủ yếu phản ánh năng lực tính toán lý thuyết, tức số phép toán mà NPU có thể xử lý trong một giây ở mức xung nhịp tối đa. Tuy nhiên, các hãng chip cho rằng ngay cả khi TOPS tăng, hiệu năng AI trong thực tế chưa chắc cải thiện tương ứng nếu băng thông bộ nhớ và mức tối ưu phần mềm không theo kịp.

Qualcomm là một ví dụ. Tại phiên benchmark trong khuôn khổ Snapdragon Summit 2026, kết quả đo của Snapdragon 8 Elite Extreme thế hệ 6 cho thấy mức chênh lệch hiệu năng thay đổi đáng kể tùy theo công cụ đo. Đại diện Qualcomm cho biết hiệu năng AI phụ thuộc vào tối ưu end-to-end, phần mềm đi kèm và loại mô hình đang vận hành. Vì vậy, chỉ dựa vào một bài benchmark là chưa đủ để đánh giá đầy đủ mức cải thiện của nền tảng.

Cũng tại sự kiện này, Qualcomm đã bổ sung GPU·AI Benchmark Evolve của Traverse Research, công ty có trụ sở tại Hà Lan, bên cạnh các bài benchmark hiện có. Theo giới thiệu, Evolve cho phép tùy chỉnh điều kiện tác vụ, chạy lặp lại nhiều lần và tách kết quả theo từng hạng mục, thay vì gộp thành một điểm tổng hợp duy nhất.

Arm cũng công bố phương pháp đánh giá hiệu năng CPU cho AI agent vào ngày 13/10, với sự hỗ trợ của Fujitsu, Meta và OpenAI. Theo Arm, AI agent hoạt động như một "người dùng ảo", liên tục gọi công cụ và dịch vụ, đồng thời đánh giá kết quả trung gian cho tới khi hoàn thành nhiệm vụ.

Tiêu chí mà Arm nhấn mạnh là số lượng tác vụ có thể hoàn tất mà vẫn duy trì tốc độ phản hồi. Lý do, theo hãng, là khi mức sử dụng hệ thống tăng lên, nếu thông lượng sụt giảm thì năng lực xử lý lý thuyết dù lớn hơn cũng không đồng nghĩa với việc khối lượng công việc thực tế tăng theo. Phương pháp của Arm dựa trên ba nguyên tắc: bám sát tình huống sử dụng AI agent trong thực tế, bảo đảm khả năng đo lường lặp lại và xác thực kết quả đầu ra cuối cùng.

Arm cũng công bố kết quả thử nghiệm theo phương pháp này. Tổ chức thử nghiệm Signal65 của Mỹ đã so sánh Arm AGI CPU với chip máy chủ của AMD. Signal65 chạy cùng một kịch bản benchmark trên hai dòng chip, sau đó dùng số đo thực tế ở cấp một máy chủ để ngoại suy hiệu năng ở cấp rack.

Theo Arm, trong bối cảnh trung tâm dữ liệu vận hành dưới các giới hạn cố định về điện năng và không gian, khối lượng công việc mà một rack có thể xử lý là chỉ số đặc biệt quan trọng. Hãng cho biết Arm AGI CPU đạt hiệu năng trung bình theo rack cao hơn 1,99 lần so với AMD EPYC 9755, cho thấy có thể bố trí nhiều máy chủ hơn trong cùng giới hạn điện năng. Thời gian để AI agent mở môi trường thực thi cô lập (sandbox) cũng ngắn hơn tối đa 45% so với AMD EPYC 9965.

Việc dùng CPU để đo hiệu năng AI agent cũng xuất phát từ chính cách công nghệ này vận hành. Theo báo cáo của Signal65 do Intel đặt hàng, AI agent không chỉ tạo câu trả lời từ mô hình mà còn thực thi lệnh, chỉnh sửa tệp và biên dịch mã. Quá trình tạo và quản lý sandbox cũng do CPU đảm nhiệm.

Báo cáo cho thấy khi chạy benchmark theo từng tác vụ riêng lẻ, mức sử dụng CPU trung bình của máy chủ thậm chí chưa tới 10%. Nhưng khi tăng số tác vụ chạy đồng thời, tỷ lệ này có thể lên khoảng 54%. Điều đó cho thấy điểm số ở từng tác vụ riêng lẻ không phản ánh đầy đủ lượng công việc AI agent mà một máy chủ thực tế có thể gánh.

Tương tự Arm, nhiều hãng chip đang cố tăng độ tin cậy cho số liệu bằng cách công khai điều kiện đo cùng với kết quả. Báo cáo của Signal65 nêu rõ điều kiện so sánh và việc nghiên cứu được Arm đặt hàng, còn báo cáo do Intel đặt hàng. Trong khi đó, GPU·AI Benchmark Evolve mà Qualcomm sử dụng cũng tách điểm theo từng hạng mục, nhằm tránh trường hợp thế mạnh ở một lĩnh vực che lấp điểm yếu ở lĩnh vực khác. Công cụ này có thể chạy trên thiết bị thương mại, qua đó cho phép đo lại các số liệu mà doanh nghiệp công bố. Traverse cũng tuyên bố nguyên tắc vận hành độc lập, không thuộc sở hữu hay chịu sự chi phối của bất kỳ doanh nghiệp nào, đồng thời không cho phép "mua" hiệu năng bằng tiền. Theo Traverse, Qualcomm và Samsung Electronics hiện đang chạy Evolve trong nội bộ.

Dù vậy, các thước đo mới vẫn cần thêm thời gian kiểm chứng. Số liệu ở cấp rack do Arm công bố hiện mới là kết quả mô hình hóa dựa trên hệ thống ban đầu. Signal65 cho biết sẽ tiếp tục thử nghiệm với phần cứng sản xuất hàng loạt, khối lượng tác vụ rộng hơn và thêm các sản phẩm cạnh tranh. Khi tiêu chí đánh giá chuyển từ giá trị lý thuyết và điểm số đơn lẻ sang khối lượng công việc thực tế, yếu tố quyết định sẽ là liệu các kết quả này có thể được tái lập tương tự trong trung tâm dữ liệu thực và trên thiết bị thương mại hay không. Chỉ khi khả năng tái lập được xác nhận, những chuẩn do các hãng chip đề xuất mới có thể trở thành thước đo chung của ngành.