Một thử nghiệm vận hành mô hình AI quy mô cực lớn trực tiếp trên thiết bị Apple, kết hợp phần cứng sẵn có với bộ nhớ flash, đang thu hút sự chú ý khi cho thấy khả năng mở rộng của AI on-device mà không phải phụ thuộc vào xử lý trên đám mây.

Ngày 24/3 theo giờ địa phương, Gigazine cho biết thử nghiệm này do nhà nghiên cứu AI Dan Woods khởi xướng. Ông áp dụng phương pháp “LLM in a Flash” để chạy mô hình ngôn ngữ lớn có kích thước vượt quá dung lượng RAM khả dụng của thiết bị. Theo đó, trọng số của mô hình được lưu trên bộ nhớ flash và chỉ được nạp vào RAM khi cần.

Woods đã chạy mô hình tùy biến “Qwen3.5-397B-A17B”, tương đương khoảng 397 tỷ tham số, trên một chiếc MacBook Pro có bộ nhớ lưu trữ 209GB và RAM 48GB. Mô hình này sử dụng kiến trúc MoE (mixture of experts), tức chỉ kích hoạt một phần trọng số trong quá trình suy luận thay vì phải nạp toàn bộ mô hình vào bộ nhớ.

Kết quả cho thấy hệ thống đạt tốc độ khoảng 5,7 token mỗi giây, với mức tối đa 7,07 token mỗi giây. Mức sử dụng bộ nhớ vào khoảng 5,5GB, trong khi chất lượng đầu ra vẫn được đánh giá là đủ cho nhu cầu sử dụng thực tế.

Sau đó, nhà nghiên cứu AI ANEMLL tiếp tục thử nghiệm theo hướng tương tự trên iPhone 17 Pro và ghi nhận tốc độ khoảng 0,7 token mỗi giây. Trước kết quả này, Woods đã phản hồi ngắn gọn bằng từ “WHAT”, thể hiện sự bất ngờ.

Thử nghiệm còn gây chú ý ở chỗ phần lớn mã nguồn được viết bởi Claude Opus 4.6. Woods cho biết ông chủ yếu cung cấp ý tưởng và tài liệu, còn phần triển khai do AI đảm nhiệm. Theo ông, công nghệ nền tảng cho cách tiếp cận này vốn đã tồn tại, nhưng rào cản để hiện thực hóa vẫn rất lớn.

Theo giới công nghiệp, trường hợp trên là tín hiệu cho thấy AI có thể dần dịch chuyển từ mô hình phụ thuộc vào đám mây sang xử lý trực tiếp trên thiết bị. Dù vậy, công nghệ này vẫn cần được cải thiện thêm trước khi thương mại hóa, đặc biệt về tốc độ xử lý và hiệu quả vận hành.