Snowflake ngày 19/8 cho biết đã bổ sung tính năng định tuyến mô hình động cho Cortex AI Gateway, nhằm giúp khách hàng doanh nghiệp tự động chọn mô hình phù hợp theo từng tác vụ, đồng thời tối ưu giữa chất lượng đầu ra và chi phí vận hành.

Theo Snowflake, thay vì phải cố định một mô hình duy nhất, doanh nghiệp có thể chọn chế độ “tự động”. Khi đó, hệ thống sẽ tự xác định mô hình phù hợp nhất cho từng yêu cầu, dựa trên cả chất lượng xử lý lẫn chi phí.

Công ty cho biết trước đây nhiều doanh nghiệp vẫn dùng các mô hình hiệu năng cao ngay cả với những truy vấn đơn giản, làm tăng chi phí xử lý và độ trễ không cần thiết. Kết quả thử nghiệm nội bộ cho thấy với một số workload, tính năng định tuyến mô hình động có thể giúp giảm chi phí token tới 3 lần.

Snowflake cũng lưu ý thị trường hiện đã có các giải pháp tương tự từ Databricks, AWS, Google Cloud và Nvidia. Tuy nhiên, hãng cho rằng định tuyến mô hình không chỉ là bài toán về giá thành và hiệu năng, mà còn liên quan trực tiếp đến quản trị và ngữ cảnh.

Baris Gultekin, Phó chủ tịch phụ trách AI của Snowflake, cho biết việc xây dựng các agent AI chất lượng cao cho doanh nghiệp đòi hỏi cả ngữ cảnh phù hợp lẫn cơ chế quản trị chặt chẽ. Theo ông, ngữ cảnh, độ tin cậy và cách lựa chọn mô hình có mối liên hệ mật thiết với nhau.

Snowflake cho biết cơ chế định tuyến động của hãng hoạt động theo hai cách. Cách thứ nhất là “mô hình cố vấn”, trong đó một mô hình nhỏ sẽ thử xử lý yêu cầu trước. Nếu không thể hoàn thành, hệ thống sẽ chuyển tiếp sang mô hình lớn để tiếp nhận và xử lý nốt.

Cách thứ hai là sử dụng một bộ phân loại riêng, được huấn luyện từ lịch sử truy vấn, để tự động phân các câu hỏi đơn giản cho mô hình nhỏ. Khách hàng cũng có thể giới hạn phạm vi định tuyến trong một mô hình cụ thể hoặc một nhóm mô hình nhất định.

Snowflake cho biết hãng không thu thêm phí riêng cho tính năng định tuyến mô hình động. Chi phí chỉ được tính theo lượng token thực tế sử dụng.