OpenAI đã giới thiệu bản preview giới hạn của Decisions API, công cụ cho phép mô hình AI đưa ra lựa chọn nhanh trong một tập phương án định sẵn. Theo TechCrunch, sản phẩm này được phát triển để xử lý bài toán tốc độ và chi phí của các mô hình ngôn ngữ lớn, đồng thời hướng tới các tác vụ như tự động hóa phần mềm và giám sát AI agent.

TechCrunch đưa tin ngày 30/9 (giờ địa phương), Decisions API có thể trở thành một lớp hỗ trợ cho LLM trong những tình huống không cần suy luận mở, mà chỉ cần chọn nhanh giữa các phương án đã xác định trước.

Tại sự kiện thường niên dành cho nhà phát triển của OpenAI, Sam Altman cho biết Decisions API hoạt động bằng cách cung cấp cho mô hình “Luna” một tập lựa chọn định trước và yêu cầu mô hình chọn ra đáp án phù hợp. Cách sử dụng này có thể áp dụng cho việc chọn nhãn phân loại hình ảnh hoặc chọn một hành động trong số các phương án mà AI agent có thể thực hiện.

Sam Altman nói: “Khi thu hẹp phạm vi lựa chọn, chúng tôi có thể đạt tốc độ rất cao nhưng vẫn giữ được khả năng hiểu hình ảnh, hỗ trợ ngôn ngữ rộng và các cơ chế an toàn”.

Về cách tiếp cận, Decisions API được cho là khá giống với “Zeb” - mô hình do TypeSafe AI công bố vào đầu tháng này. Zeb được phát triển cho tự động hóa phần mềm, cho phép nhà phát triển đưa vào nhiều phương án để hệ thống trả về xác suất cho từng lựa chọn với tốc độ nhanh và chi phí thấp.

Một số nhà phát triển hiện sử dụng Zeb như công cụ bổ trợ cho LLM nhằm tăng tốc độ xử lý và cắt giảm chi phí. Tuy vậy, mức độ tương đồng thực tế giữa Decisions API và Zeb vẫn chưa được làm rõ.

OpenAI hiện mới công bố Decisions API ở dạng preview giới hạn. TechCrunch cho biết cũng chưa có nhiều trường hợp triển khai thực tế để cộng đồng phát triển có thể kiểm chứng đầy đủ hiệu năng của công cụ này.

Trên mạng xã hội X, Giám đốc điều hành TypeSafe AI Diogo Almeida đùa rằng đây có thể là “khởi đầu của cuộc chiến sao chép”. Dù vậy, ông cũng nhận định sự quan tâm từ OpenAI “có thể là tín hiệu cho thấy tương lai sẽ được xây dựng theo hướng tương thích với “system one””.

TypeSafe AI lâu nay phân loại các quyết định nhanh, mang tính trực giác vào nhóm “system one”, trong khi các dạng suy luận cần cân nhắc kỹ được xếp vào “system 2”.

Theo TechCrunch, Zeb thu hút chú ý chủ yếu vì trực diện giải quyết vấn đề tốc độ và chi phí của LLM. Trong bối cảnh ngày càng nhiều ý kiến cho rằng việc áp dụng trực tiếp LLM vào nhiều phần mềm vẫn chậm và tốn kém, Almeida nhấn mạnh lợi thế của TypeSafe AI nằm ở dữ liệu tổng hợp, giúp tạo ra các kết quả có độ tin cậy thống kê.