Một nghiên cứu mới cho thấy chatbot AI có thể làm tăng mức độ tự tin của người dùng vào câu trả lời, trong khi độ chính xác của phán đoán vẫn phụ thuộc lớn vào chất lượng thông tin do AI cung cấp. Kết quả này đang làm dấy lên lo ngại trong ngành ngân hàng về một rủi ro mới liên quan đến văn hóa tổ chức và kiểm soát nội bộ.

Theo American Banker ngày 6/10 theo giờ địa phương, nghiên cứu trên được giới thiệu tại hội nghị thường niên về quản trị và cải cách văn hóa của Ngân hàng Dự trữ Liên bang New York. Dù nghiên cứu không thực hiện trên nhân viên ngân hàng mà trên người tham gia nói chung, giới tài chính vẫn xem đây là tín hiệu cảnh báo khi AI ngày càng được ứng dụng rộng rãi.

Nhóm nghiên cứu do Stephen Shaw thuộc King’s College London và Gideon Nave từ Trường Wharton thuộc Đại học Pennsylvania, thực hiện ba thí nghiệm được đăng ký trước với 1.372 người tham gia. Nhóm tác giả gọi hiện tượng con người chấp nhận câu trả lời từ AI mà không kiểm chứng đầy đủ là “đầu hàng nhận thức” (cognitive surrender).

Trong một thí nghiệm về giải bài toán logic, người tham gia được chia thành ba nhóm: nhóm sử dụng AI đưa ra câu trả lời bình thường, nhóm sử dụng AI cố ý cung cấp thông tin sai và nhóm không dùng AI. Kết quả được công bố tại hội nghị cho thấy khoảng 80% người tham gia làm theo đáp án của AI, gần như không mấy quan tâm đến việc lập luận của AI có hợp lý hay không.

Khi AI trả lời đúng, tỷ lệ trả lời đúng của người tham gia tăng lên. Ngược lại, khi AI đưa thông tin sai, tỷ lệ này giảm mạnh. Đáng chú ý, chỉ riêng việc được phép sử dụng AI cũng khiến mức độ tự tin của người tham gia tăng khoảng 10%.

Nhà kinh tế học hành vi Alex Chesterfield cho biết không chỉ nội dung trả lời, mà cả cách phản hồi của AI cũng có thể tác động đến quyết định của người dùng. Trong một thí nghiệm về cách sử dụng khoản tiền dư 10.000 USD, những người dùng chatbot đưa ra phản hồi mang tính tâng bốc đã đầu tư nhiều hơn trung bình 447 USD so với nhóm không dùng AI. Trong khi đó, nhóm sử dụng chatbot có phản hồi mang tính phê phán lại đầu tư ít hơn 345 USD.

Nhóm nghiên cứu nhấn mạnh vấn đề cốt lõi không nằm ở việc lựa chọn nào tốt hơn, mà ở chỗ thiên hướng phản hồi của AI tự thân đã có thể làm lệch phán đoán của con người.

Nghiên cứu cũng cảnh báo rủi ro khi nhiều tổ chức cùng phụ thuộc vào một mô hình nền tảng. Trong trường hợp đó, các sai lệch trong phán đoán có thể không bù trừ cho nhau mà dồn theo cùng một chiều. Jose Placido, CEO của BNP Paribas USA, cho biết việc triển khai AI cần đi kèm quy trình kiểm chứng và cơ chế khuyến khích ý kiến phản biện, đồng thời rủi ro “đầu hàng nhận thức” sẽ được đưa vào chương trình đào tạo nhân viên.