Các bộ benchmark đang được dùng để đánh giá AI hiện mới bao phủ một phần rất nhỏ của thị trường lao động thực tế. Vì vậy, một mô hình đạt điểm cao trong một số bài kiểm tra vẫn chưa thể được xem là có đủ năng lực đảm đương trọn vẹn công việc ngoài thực tế.

Theo Gigazine ngày 19/10 (giờ địa phương), Mercor, công ty Mỹ hoạt động trong lĩnh vực nhân tài và đánh giá AI, cho biết khoảng 90% giờ làm tại Mỹ thuộc những nhóm công việc chưa được các benchmark AI hiện nay phản ánh đầy đủ. Công ty đã sử dụng cơ sở dữ liệu nghề nghiệp O*NET của Bộ Lao động Mỹ để đo mức độ mà 29 bộ benchmark AI bám sát công việc thực tế đến đâu.

Theo O*NET, thị trường lao động Mỹ được chia thành 923 nghề và 18.797 nhiệm vụ chi tiết. Nhóm nghiên cứu đối chiếu từng câu hỏi trong các benchmark với nhiệm vụ thực tế và xem một nhiệm vụ đã được bao phủ nếu có từ 5 câu hỏi tương ứng trở lên.

Kết quả cho thấy chỉ 924 nhiệm vụ đáp ứng tiêu chí này, tương đương khoảng 4,9% tổng số nhiệm vụ. Trong 923 nghề, cũng chỉ có 208 nghề có ít nhất một nhiệm vụ được đưa vào đánh giá.

Mức độ bao phủ giữa các lĩnh vực cũng chênh lệch rõ rệt. Các mảng như phát triển phần mềm, pháp lý và phân tích tài chính được phản ánh tương đối nhiều, trong khi công việc lái xe tải hoặc vận hành nhà máy khí gần như vắng bóng. Ngay trong lĩnh vực pháp lý, công việc của luật sư xuất hiện khá nhiều trong benchmark, nhưng các vị trí như thư ký pháp lý hay thư ký tòa án lại ít được phản ánh.

Nhóm nghiên cứu cho rằng các benchmark hiện nay có xu hướng tập trung vào những nhiệm vụ dễ tự động hóa bằng AI và các nghề có quy mô kinh tế lớn. Trên thực tế, các nhiệm vụ dễ bị AI tác động có khả năng xuất hiện trong benchmark cao gấp khoảng 6 lần so với các nhiệm vụ còn lại.

Các công việc đòi hỏi lao động trực tiếp cũng được xem là một điểm mù trong hệ thống đánh giá này. Tại Mỹ, tỷ lệ việc làm có thể làm hoàn toàn từ xa được ước tính vào khoảng 37%, trong khi phần còn lại nhiều khả năng bao gồm các nhiệm vụ phải thực hiện tại hiện trường và khó đo lường bằng các bài kiểm tra số hóa.

Dù vậy, Mercor lưu ý đây mới là kết quả phân tích ban đầu, dựa trên 29 benchmark do nhóm nghiên cứu lựa chọn, chứ chưa phải khảo sát toàn bộ các hệ thống đánh giá AI hiện có.

Công ty nhấn mạnh phát hiện này không đồng nghĩa AI không thể đảm đương 90% khối lượng công việc tại Mỹ. Điều mà kết quả cho thấy là nếu chỉ dựa vào các phương thức đánh giá hiện nay, rất khó phản ánh đầy đủ năng lực thực thi công việc của AI trong môi trường thực tế.