Stanford, Meta, Together AI và Đại học Illinois Urbana-Champaign vừa công bố một phương pháp suy luận AI mới mang tên Hybrid Reasoning Agents, cho phép mô hình xử lý phần suy luận trung gian trong latent space thay vì phải tạo toàn bộ dưới dạng văn bản. Theo nhóm nghiên cứu, cách tiếp cận này có thể rút ngắn thời gian xử lý, giảm chi phí suy luận và đồng thời cải thiện khả năng giải quyết bài toán của mô hình ngôn ngữ lớn (LLM).

Ngày 19/10 (giờ địa phương), Gigazine đưa tin nhóm nghiên cứu chung của các đơn vị trên đã công bố kết quả nghiên cứu về kỹ thuật mới này.

Với các AI agent dựa trên LLM hiện nay, mô hình thường phải sinh token văn bản cho toàn bộ chuỗi suy luận trung gian, thao tác gọi công cụ và cả câu trả lời cuối cùng. Khi độ phức tạp của bài toán tăng lên, số lượng token đầu ra cũng tăng theo, khiến tốc độ xử lý chậm hơn và chi phí vận hành cao hơn.

Để khắc phục hạn chế đó, nhóm nghiên cứu đề xuất để mô hình thực hiện phần suy luận trung gian trong latent space, tức không gian biểu diễn bằng các vector số, thay vì diễn đạt toàn bộ quá trình bằng ngôn ngữ tự nhiên.

Cốt lõi của phương pháp là kết hợp hai cơ chế suy luận. Khi xử lý suy luận nội bộ, mô hình hoạt động ở “chế độ latent”; còn khi cần gọi công cụ bên ngoài hoặc tạo câu trả lời cuối cùng, hệ thống sẽ chuyển sang “chế độ văn bản”.

Nhóm cũng áp dụng kỹ thuật HybridLink để duy trì tính liên tục của quá trình suy luận giữa hai chế độ. Phần xử lý diễn ra trong latent space vẫn có thể được biểu diễn theo dạng gần với văn bản để con người kiểm tra.

Tuy nhiên, phương pháp này chưa thể áp dụng ngay cho các mô hình hiện có. Theo nhóm nghiên cứu, các mô hình đã tiền huấn luyện cần được bổ sung các bước tinh chỉnh có giám sát HybridSFT và học tăng cường HybridRL.

Để đánh giá hiệu quả, nhóm sử dụng các mô hình Qwen3 quy mô 4 tỷ, 8 tỷ và 14 tỷ tham số trên 11 bộ benchmark thuộc các lĩnh vực như toán học, khoa học và tìm kiếm. Kết quả cho thấy số token sinh ra giảm 35,5-54,7% so với cách tiếp cận trước đây, trong khi tốc độ suy luận tăng 1,8-2,6 lần.

Hiệu năng giải quyết bài toán cũng cao hơn trung bình 10,4% so với nhóm đối chứng. Riêng với mô hình 4 tỷ tham số, chi phí tính toán ước tính chỉ còn khoảng 27% so với phương pháp trước đó.

Nhóm nghiên cứu đã công bố mã nguồn cùng dữ liệu huấn luyện liên quan trên GitHub và Hugging Face. Dù vậy, đây vẫn là nghiên cứu chưa qua phản biện, nên hiệu quả vận hành cũng như mức tiết kiệm chi phí trong môi trường dịch vụ thực tế vẫn cần được kiểm chứng thêm.