Nvidia cho rằng cách đo hiệu năng AI cần được điều chỉnh theo xu hướng phát triển của AI agent. Theo hãng, các chỉ số tốc độ thuần túy hay một điểm benchmark đơn lẻ không còn đủ để phản ánh năng lực xử lý tác vụ nhiều bước cũng như độ chính xác của kết quả đầu ra. Vì vậy, việc đánh giá cần đi kèm bối cảnh đo cụ thể và có sự thẩm định của con người.

Phát biểu tại sự kiện giới thiệu RTX Spark ngày 6/11, Jeff Yen, Giám đốc Marketing Kỹ thuật khu vực APAC của Nvidia, cho biết benchmark trước đây chủ yếu xoay quanh tốc độ, nhưng với AI, yếu tố tốc độ và độ chính xác phải được xem xét đồng thời. “Dù nhanh đến đâu nhưng trả lời sai hoặc tạo ra kết quả không như mong muốn thì cũng vô dụng”, ông nói.

Theo Jeff Yen, game và các ứng dụng truyền thống vẫn thường được đánh giá bằng những chỉ số quen thuộc như số khung hình mỗi giây (FPS), độ trễ hay chất lượng hình ảnh. Tuy nhiên, AI đòi hỏi một bộ tiêu chí khác. Ngay cả với game, ông cũng cho rằng việc đo hiệu năng nên diễn ra trong bối cảnh sử dụng thực tế để phản ánh sát trải nghiệm của người dùng.

Nvidia nhận định tiêu chuẩn đánh giá AI đang thay đổi nhanh cùng tốc độ phát triển của công nghệ. Khi mô hình liên tục được cập nhật, các benchmark và thực tiễn tốt nhất cũng phải thay đổi theo. Đáng chú ý, AI chạy cục bộ trên PC đang trở thành một mảng được quan tâm, kéo theo nhiều thử nghiệm đánh giá mới.

Phạm vi đánh giá cũng ngày càng mở rộng. Các lĩnh vực như thị giác máy tính, tạo ảnh, tạo video và mô hình ngôn ngữ lớn (LLM) đã hình thành những bộ benchmark tương đối ổn định. Tuy nhiên, nhu cầu về phương pháp đánh giá theo tác vụ đang tăng lên, nhằm đo lường AI agent có thể hoàn thành bao nhiêu công việc trong một quy trình thực tế.

Không chỉ Nvidia, nhiều công ty chip khác cũng cho rằng cách đánh giá hiệu năng AI cần thay đổi. Một chỉ số thường được dùng khi công bố hiệu năng chip AI là TOPS, tức số phép toán lý thuyết mà bộ xử lý thần kinh (NPU) có thể thực hiện trong một giây ở xung nhịp tối đa. Tuy nhiên, theo các hãng, TOPS tăng không đồng nghĩa hiệu năng AI thực tế sẽ tăng nếu băng thông bộ nhớ và phần mềm tối ưu hóa không theo kịp.

Với Qualcomm, hiệu năng AI phụ thuộc vào quá trình tối ưu end-to-end, phần mềm và cả loại mô hình được triển khai. Vì vậy, công ty cho rằng chỉ dựa vào benchmark là chưa đủ để phản ánh đầy đủ mức cải thiện của nền tảng, mà cần kết hợp thêm các phép đo từ bên ngoài. Theo Traverse Research của Hà Lan, Qualcomm hiện cũng chạy nội bộ bộ benchmark GPU và AI Evolve do công ty này phát triển.

Arm cũng đã công bố riêng phương pháp đánh giá hiệu năng CPU cho agentic AI, với sự hỗ trợ từ Fujitsu, Meta và OpenAI. Theo Arm, một hệ thống không chỉ cần phản hồi nhanh mà còn phải hoàn thành được nhiều tác vụ thực tế. Lập luận của hãng là khi mức sử dụng tăng cao làm thông lượng suy giảm, công suất xử lý lý thuyết dù lớn hơn cũng chưa chắc giúp số tác vụ hoàn thành tăng lên. Vì vậy, Arm đưa ra các nguyên tắc gồm mô phỏng tình huống sử dụng AI agent thực tế, bảo đảm khả năng lặp lại của phép đo và xác thực kết quả đầu ra cuối cùng.

Nvidia cũng ủng hộ cách benchmark bám sát quy trình tác vụ thực tế. Jeff Yen cho rằng benchmark phải càng gần ứng dụng thật càng tốt, đồng thời nhắc đến MLPerf Client và AgentPerf-local như hai bộ đo đáng chú ý. Trong đó, bài test agentic của MLPerf Client 2.0 là bài đo ngắn, gồm 4 prompt cùng các lượt gọi công cụ mô phỏng. Trong khi đó, AgentPerf-local của Artificial Analysis sử dụng hơn 160 prompt ngay từ kịch bản cơ bản và gọi công cụ thật để kiểm tra toàn bộ hệ thống.

Ông Yen cho biết dung lượng bộ nhớ và ngữ cảnh đầu vào - đầu ra là hai yếu tố có tính quyết định với hiệu năng của AI agent, bởi dung lượng bộ nhớ ảnh hưởng trực tiếp đến loại mô hình có thể nạp và vận hành. Theo ông, RTX Spark - nền tảng system-on-chip (SoC) đầu tiên được Nvidia công bố - có nhiều kịch bản sử dụng theo dạng AI agent, nên hãng tách riêng hai yếu tố này thành tiêu chí đánh giá.

Theo Nvidia, nghịch lý là vai trò của con người trong việc đo hiệu năng AI lại ngày càng lớn. Dù là tạo ảnh, tạo video hay đánh giá AI agent theo tác vụ, khâu thẩm định của con người vẫn mang tính quyết định. Lý do là rất khó xác định chỉ bằng chỉ số liệu liệu hình ảnh, video có đúng ý đồ hay AI agent có thực sự hoàn thành công việc hay không.

Jeff Yen cho biết đây cũng là kinh nghiệm Nvidia rút ra từ quá trình thử nghiệm nội bộ. Theo ông, những mô hình có tên gọi tương tự nhau vẫn có thể cho chất lượng đầu ra khác nhau tùy cách lượng tử hóa, trong khi hệ thống backend vận hành mô hình cũng ảnh hưởng đến độ chính xác. “Chúng tôi cũng từng mắc những sai lầm đó”, ông nói, hàm ý rằng cần xác nhận đúng mô hình được sử dụng trong phép đo thì các con số về tốc độ và độ chính xác mới đáng tin cậy.

Từ đó, Nvidia nhấn mạnh rằng khi so sánh hiệu năng AI, cần xem đồng thời cả kết quả về độ chính xác để bảo đảm tính công bằng. Riêng với mảng tạo ảnh và tạo video, do hiện vẫn thiếu các bài kiểm tra định lượng đủ tốt cho độ chính xác, việc thẩm định bởi con người vẫn đặc biệt hữu ích. Đây cũng là logic phía sau nguyên tắc “xác thực kết quả tác vụ cuối cùng” mà Arm đưa vào phương pháp đánh giá, nhằm đưa khả năng hoàn thành đúng công việc trở thành một phần của thước đo hiệu năng.