Cloudflare ngày 18/9 công bố cơ chế xác định các đơn vị vận hành crawler AI có trách nhiệm, đồng thời ra mắt tính năng có tên “Disallow AI Training”, cho phép website ngăn nội dung bị sử dụng để huấn luyện AI mà vẫn duy trì hiển thị trên công cụ tìm kiếm.

Theo Cloudflare, hãng từ trước đã nhấn mạnh rằng chủ sở hữu website cần có quyền kiểm soát trực tiếp cách nội dung của họ được các hệ thống AI sử dụng. Công ty cũng đưa ra các tiêu chí để crawler được phép truy cập lâu dài. Trong đợt công bố này, Apple, Google và Microsoft được xếp vào nhóm vận hành có trách nhiệm, do đã đáp ứng các tiêu chí hoặc đã đưa ra lộ trình đáp ứng cụ thể.

Với những crawler không thuộc Apple, Google và Microsoft, quyền truy cập sẽ bị chặn nếu chủ website kích hoạt chế độ chặn huấn luyện AI.

Cloudflare cho biết các crawler phục vụ đồng thời cho tìm kiếm và huấn luyện AI hiện chiếm 36,6% tổng lưu lượng crawler trên mạng lưới của hãng. Tỷ lệ website chặn crawler tìm kiếm hiện ở mức dưới 1%, trong khi tỷ lệ website hạn chế việc huấn luyện AI lên tới 17%.

Matthew Prince, đồng sáng lập kiêm CEO Cloudflare, cho rằng việc trao cho cá nhân và doanh nghiệp tạo ra nội dung trên web quyền kiểm soát thực chất đối với cách nội dung của họ được sử dụng sẽ giúp Internet vận hành lành mạnh hơn. Ông cũng cho biết Cloudflare sẽ tiếp tục hợp tác với các công ty liên quan.

Theo Cloudflare, các đơn vị được xếp vào nhóm “có trách nhiệm” phải cung cấp cho chủ website công cụ để từ chối các bản tóm tắt do AI tạo ra. Hiện nay, chủ website vẫn phải thiết lập riêng với từng đơn vị vận hành. Công ty cho biết đến đầu năm tới, các tùy chọn này sẽ được gom về một nơi để quản lý tập trung.