Cohere vừa ra mắt North 2, nền tảng mới giúp doanh nghiệp triển khai và vận hành AI agent ở quy mô lớn, với trọng tâm là xử lý tác vụ nhiều bước, kiểm soát mức sử dụng token và tăng cường bảo mật.

Theo SiliconAngle ngày 5/10 (giờ địa phương), bản nâng cấp này tập trung cải thiện khả năng điều phối các quy trình nhiều bước, đồng thời bổ sung công cụ quản trị chi phí token cho doanh nghiệp.

Cohere cho biết khi triển khai AI agent, doanh nghiệp thường phải đánh đổi giữa ba yếu tố gồm bảo mật, tính năng và kiểm soát chi phí. Công ty nói kinh nghiệm triển khai ở quy mô lớn trong nhiều lĩnh vực, bao gồm tài chính và khu vực công, đã được đưa vào North 2.

Với phiên bản mới, AI agent có thể tự xử lý các công việc nhiều bước và chỉ cần con người can thiệp ở những khâu đòi hỏi phê duyệt. Doanh nghiệp cũng có thể chia sẻ trên toàn tổ chức các agent được tạo từ những prompt đơn giản, qua đó giảm việc xây dựng trùng lặp cùng một quy trình làm việc.

Mỗi agent có khả năng ghi nhớ ngữ cảnh qua nhiều phiên làm việc. Các logic dùng lặp lại có thể được đóng gói thành “skill” để tái sử dụng, trong khi tài liệu và tài nguyên dùng chung có thể được nhiều agent khai thác thông qua thư viện chung.

Người dùng cũng có thể dùng ngôn ngữ tự nhiên để tạo slide, dashboard hoặc các ứng dụng đơn giản, đồng thời chỉnh sửa nội dung ngay trong cửa sổ chat.

Công cụ builder đi kèm các mẫu dựng sẵn cho tác vụ lặp lại và trình thiết kế quy trình kéo thả. Hệ thống còn hỗ trợ theo dõi hiệu năng theo thời gian thực. Bộ connector hiện tương thích với Slack, GitHub, Microsoft SharePoint và OneDrive. Cohere cho biết sẽ sớm bổ sung các connector cho PitchBook Data, S&P Global và FactSet Research Systems.

Các tính năng kiểm soát chi phí được tích hợp trong bảng điều khiển quản trị North Admin. Quản trị viên có thể theo dõi mức sử dụng token theo từng người dùng và từng agent, thiết lập hạn mức theo người dùng hoặc nhóm dựa trên lưu lượng yêu cầu và tốc độ tiêu thụ token. Hệ thống cũng cho phép đặt hạn mức cho toàn doanh nghiệp và gửi cảnh báo trước khi chạm ngưỡng.

Cohere cho biết North 2 không phụ thuộc vào một mô hình duy nhất, cho phép khách hàng phân bổ theo từng nhóm cả các mô hình được đưa vào từ bên ngoài hệ sinh thái của hãng.

Về bảo mật, North Admin cho phép quản trị viên thiết lập các lớp kiểm soát an toàn cho từng agent, kiểm tra thông tin nhận dạng cá nhân trong prompt và phản hồi, đồng thời phát hiện các nỗ lực prompt injection. Chính sách về mức tự chủ cũng giúp giới hạn agent chỉ thực hiện những tác vụ đã được cho phép.

North 2 hỗ trợ triển khai on-premise, trên hạ tầng đám mây riêng ảo của khách hàng, cũng như trong môi trường air-gap hoàn toàn tách biệt với kết nối bên ngoài.

Cohere cũng nhấn mạnh khả năng giảm chi phí vận hành thông qua hợp tác với Nvidia. Theo công ty, các mô hình của hãng có thể đạt thông lượng token trên mỗi node cao hơn khi chạy trên GPU Blackwell và Hopper của Nvidia.