KAIST ngày 5/7 cho biết nhóm nghiên cứu do giáo sư Yu Min-su thuộc Khoa Kỹ thuật Điện và Điện tử dẫn dắt đã lần đầu phân tích một cách hệ thống mức sử dụng tài nguyên tính toán và điện năng của AI agent trong môi trường dịch vụ thực tế. Kết quả cho thấy AI agent có thể tiêu thụ trung bình 348,41Wh cho mỗi truy vấn, cao gấp tối đa 136,5 lần so với AI tạo sinh theo kiểu hỏi - đáp thông thường.

Theo KAIST, AI agent không chỉ là một chương trình đơn lẻ mà là một dạng tải công việc mới, buộc máy chủ và GPU trong trung tâm dữ liệu phải xử lý liên tục. Từ đó, nhóm nghiên cứu đo đạc lượng tính toán và điện năng phát sinh trong quá trình vận hành thực tế.

Kết quả phân tích cho thấy, khác với phương pháp suy luận theo từng bước Chain-of-Thought (CoT), AI agent có xu hướng gọi mô hình ngôn ngữ lớn (LLM) lặp đi lặp lại trong lúc thực hiện nhiệm vụ. Việc phải nhiều lần chạy mô hình để đưa ra phán đoán mới hoặc tạo câu trả lời khiến cả khối lượng tính toán lẫn độ trễ phản hồi cùng tăng.

Cụ thể, thời gian phản hồi của AI agent dài hơn tối đa 153,7 lần so với phương thức xử lý truyền thống. Trong quá trình các công cụ bên ngoài như tìm kiếm trên Internet hoặc chạy mã thực hiện tác vụ, GPU có thể rơi vào trạng thái nhàn rỗi tới 54,5% tổng thời gian xử lý.

Theo nhóm nghiên cứu, điều này cho thấy khi AI đảm nhiệm các tác vụ phức tạp hơn, một dạng kém hiệu quả mới có thể xuất hiện: GPU đắt tiền không được khai thác hết công suất.

Ở quy mô trung tâm dữ liệu, nhóm nghiên cứu cũng đánh giá mức tiêu thụ điện của AI agent. Với mô hình 70 tỷ tham số, tương đương mức đang được dùng trong các dịch vụ AI thương mại, AI agent tiêu thụ trung bình 348,41Wh cho mỗi truy vấn, cao hơn 136,5 lần so với AI tạo sinh theo kiểu hỏi - đáp thông thường.

Nhóm nghiên cứu giả định một kịch bản trong tương lai với 13,7 tỷ yêu cầu AI agent mỗi ngày. Trong trường hợp đó, nhu cầu điện của các trung tâm dữ liệu AI được ước tính vào khoảng 198,9GW.

Mức này vượt xa quy mô vài GW của các trung tâm dữ liệu AI đang được phát triển tại nhiều quốc gia, đồng thời tương đương khoảng một nửa mức tiêu thụ điện trung bình của toàn nước Mỹ.

KAIST cho biết kết quả nghiên cứu cho thấy lợi thế cạnh tranh trong kỷ nguyên AI đang dịch chuyển từ “AI thông minh hơn” sang “AI hiệu quả hơn”. Theo đó, bên cạnh việc nâng hiệu năng mô hình, ngành này còn cần cách tiếp cận đồng thiết kế (co-design) để tối ưu đồng thời chip AI, trung tâm dữ liệu và hạ tầng điện.

Trường này đánh giá đồng thiết kế có thể trở thành công nghệ then chốt để giảm chi phí vận hành dịch vụ AI và xây dựng hạ tầng AI bền vững.

Giáo sư Yu Min-su nhấn mạnh rằng khi AI agent ngày càng phổ biến, cách tiếp cận tối ưu tích hợp - từ hạ tầng trung tâm dữ liệu AI, mô hình AI agent đến hạ tầng điện - sẽ càng trở nên quan trọng. Ông cũng kêu gọi đẩy mạnh nghiên cứu và đầu tư nhằm giảm đáng kể chi phí sử dụng dịch vụ AI cho người dùng cuối, đồng thời xây dựng hạ tầng AI bền vững.

Nghiên cứu do nghiên cứu sinh tiến sĩ Kim Ji-in, thuộc Khoa Kỹ thuật Điện và Điện tử, thực hiện với vai trò tác giả chính. Kết quả đã được trình bày tại Hội nghị chuyên đề quốc tế IEEE lần thứ 32 về kiến trúc máy tính hiệu năng cao (HPCA) vào tháng 2.

Nhóm nghiên cứu cũng đã công bố mã nguồn mở cho các kỹ thuật triển khai AI agent cùng bộ benchmark dùng để so sánh và đánh giá hiệu năng trong bài báo, nhằm hỗ trợ các nghiên cứu tiếp theo trên phạm vi toàn cầu.

Nghiên cứu được triển khai với sự hỗ trợ của Viện Lập kế hoạch và Đánh giá Công nghệ Thông tin và Truyền thông (IITP) thông qua chương trình SW Star Lab, dự án phát triển công nghệ K-Cloud sử dụng chip AI, dự án phát triển công nghệ nâng cấp trung tâm dữ liệu dựa trên chip AI và Trung tâm Ươm tạo Công nghệ Tương lai của Samsung Electronics.