Mira Murati, CEO của Thinking Machines Lab. Ảnh: tài khoản X của Mira Murati

Thinking Machines Lab ngày 20/11 (giờ địa phương) công bố Inkling 2 Mini, một mô hình AI cỡ nhỏ có thể chạy trên máy tính xách tay. Mô hình được phát hành theo dạng open-weight, cho phép người dùng tải về bộ trọng số.

Inkling 2 Mini sử dụng kiến trúc Mixture of Experts (MoE), có tổng cộng 26,4 tỷ tham số nhưng chỉ kích hoạt 3,4 tỷ tham số trong quá trình suy luận.

Theo công ty, Inkling 2 Mini được xây dựng trên cấu trúc “looped transformer”, giúp tạo phản hồi với ít token hơn. Thinking Machines Lab cho biết cách tiếp cận này đặc biệt phù hợp với các tác vụ lập trình của AI agent, nơi chất lượng suy luận đóng vai trò then chốt.

Công ty cho biết Inkling 2 Mini đang dẫn đầu nhóm mô hình open-weight dưới 100 tỷ tham số trong các bài đánh giá lập trình, trong đó đạt 48,2% trên DeepSWE v1.1. Tốc độ xử lý của mô hình cũng cao hơn so với các mô hình có hiệu năng tương đương.

Về yêu cầu phần cứng, mô hình cần khoảng 20 GB bộ nhớ. Nhóm nghiên cứu cho biết đã chạy Inkling 2 Mini trên MacBook Pro trong điều kiện không có Internet khi đang ở trên máy bay, đồng thời phát triển một trò chơi mô phỏng bay chỉ trong vài phút.

Theo kết quả đo của một nhóm nghiên cứu tại Đại học Stanford, Inkling 2 Mini đạt hiệu quả vận hành ở mức cao. Trên Nvidia DGX Spark, mô hình ghi nhận chỉ số hiệu năng trên mỗi đơn vị năng lượng ở mức 0,703, cao hơn mức 0,430 của Qwen3.6-35B-A3B.

Dù vậy, mô hình vẫn có những hạn chế nhất định. Công ty cho biết cấu trúc lặp giúp cải thiện khả năng suy luận, nhưng không đồng nghĩa với việc mở rộng lượng tri thức sẵn có của mô hình. Để bù đắp, hãng tận dụng hiệu quả hơn các công cụ và khả năng tìm kiếm. Với các cuộc hội thoại nhiều lượt và những tác vụ thực thi chỉ dẫn phức tạp có nhiều ràng buộc, Inkling 2 Mini vẫn kém mô hình Qwen3.8-27B.

Hiện Inkling 2 Mini đã có mặt trên Tinker và Hugging Face. Với máy Mac có từ 32 GB RAM, người dùng có thể chạy mô hình qua Ollama, phần mềm miễn phí cho phép tải và vận hành mô hình AI trực tiếp trên máy tính.

Từ khóa

#Thinking Machines Lab #Inkling 2 Mini #open-weight #MoE #looped transformer #DeepSWE v1.1 #Ollama #Hugging Face
Copyright © DigitalToday. All rights reserved. Unauthorized reproduction and redistribution are prohibited.