Nhiều doanh nghiệp đang đẩy mạnh triển khai lớp quản trị ngữ cảnh nhằm hạn chế sai sót của AI agent, song tỷ lệ báo cáo về các câu trả lời sai vẫn tiếp tục tăng.

Theo VentureBeat, trong 6 tháng gần đây, 68% doanh nghiệp cho biết AI agent đã tự tin đưa ra câu trả lời sai. Khi phân tích nguyên nhân, các đơn vị này nói rằng thông tin liên quan đến doanh nghiệp thường bị thiếu hoặc không chính xác.

Tỷ lệ này tăng mạnh so với mức 57% trong khảo sát công bố hồi tháng 6. Tỷ lệ doanh nghiệp cho biết lỗi sai lặp lại từ hai lần trở lên cũng tăng lên 37%, từ mức 31% trước đó. Khảo sát do VB Pulse, đơn vị thuộc VentureBeat, thực hiện trong tháng 7 với 101 doanh nghiệp có từ 100 nhân viên trở lên.

Trong cùng giai đoạn, tỷ lệ doanh nghiệp đã đưa lớp quản trị ngữ cảnh vào vận hành cũng tăng từ 25% lên 32%. Điều này cho thấy mức độ triển khai giải pháp này đi lên, nhưng số doanh nghiệp ghi nhận lỗi từ AI agent vẫn chưa giảm.

Phương thức phổ biến nhất để cung cấp ngữ cảnh cho AI agent hiện là RAG (retrieval-augmented generation), được 31% doanh nghiệp sử dụng.

Trong khi đó, 13% doanh nghiệp chọn cách đưa toàn bộ tài liệu vào context window của mô hình. Có 5% không xây dựng cấu trúc dữ liệu riêng mà chỉ dựa vào tri thức nền của mô hình. Srijiths Rajamohan, lãnh đạo nghiên cứu của Redis AI, cho biết hai câu “Rome gần Paris hơn” và “Paris gần Rome hơn” rất khó phân biệt nếu chỉ dựa vào truy xuất bằng embedding.

Đáng chú ý, trong nhóm doanh nghiệp đã triển khai hoặc đang xây dựng lớp quản trị ngữ cảnh, tỷ lệ ghi nhận lỗi lặp lại lên tới 50%, cao hơn đáng kể mức 21% ở nhóm chưa có lớp này.

Xét theo quy mô, các doanh nghiệp có trên 1.000 nhân viên ghi nhận tỷ lệ lỗi lặp lại 55%, cao hơn mức 30% của nhóm có từ 101 đến 1.000 nhân viên. Michael Ni, nhà phân tích tại Constellation Research, nhận định rằng bên kiểm soát “ngữ cảnh thời gian chạy” mà AI tham chiếu thực chất sẽ nắm quyền chi phối tầng ra quyết định của AI dựa trên dữ liệu doanh nghiệp.