Off Grid, ứng dụng AI miễn phí, vừa được giới thiệu với khả năng tải mô hình ngôn ngữ lớn (LLM) và mô hình tạo ảnh về smartphone để chạy offline. Thay vì phụ thuộc vào máy chủ đám mây, ứng dụng xử lý AI trực tiếp trên thiết bị, qua đó nhấn mạnh yếu tố riêng tư và giảm lệ thuộc vào kết nối mạng.

Ngày 1/4, trang tin Gigazine cho biết Off Grid hiện hỗ trợ cả iOS và Android. Ứng dụng tích hợp nhiều tính năng trong cùng một nền tảng, gồm tạo văn bản, tạo ảnh, nhận diện hình ảnh và chạy công cụ, cho phép người dùng sử dụng nhiều mô hình AI trong một giao diện duy nhất thay vì phải vận hành từng mô hình riêng lẻ.

Điểm cốt lõi của Off Grid là cơ chế chạy cục bộ, tức lưu trữ và vận hành mô hình AI ngay trên điện thoại thay vì trên hạ tầng đám mây. Theo Gigazine, xu hướng này được thúc đẩy khi Google, Meta, Alibaba cùng nhiều doanh nghiệp lớn gần đây công bố các mô hình nhỏ hơn, đủ điều kiện để chạy trực tiếp trên smartphone. Off Grid được thiết kế để tải các mô hình công khai đó và sử dụng ngay trên thiết bị.

Cách sử dụng ứng dụng tương đối đơn giản. Sau khi cài đặt và mở ứng dụng, người dùng sẽ thấy danh sách các mô hình có thể tải về, kèm dung lượng tệp và mức RAM cần thiết cho từng mô hình. Sau khi chọn mô hình mong muốn, người dùng chỉ cần tải xuống, chờ mô hình khởi chạy là có thể bắt đầu trò chuyện hoặc tạo ảnh.

Gigazine cũng chia sẻ kết quả thử nghiệm trên Pixel 10 Pro. Trong mục TEXT, người dùng có thể xem danh sách các mô hình đã tải, chọn gemma-3-1b-it-GGUF để nạp và bắt đầu hội thoại. Sau khi nhập câu hỏi, phản hồi được tạo trong vài giây. Khi yêu cầu đổi ngôn ngữ, ứng dụng vẫn trả về cùng nội dung bằng ngôn ngữ khác, cho thấy tính năng hội thoại cơ bản hoạt động ổn định.

Tuy nhiên, việc chạy AI cục bộ cũng đi kèm những hạn chế nhất định về bộ nhớ lưu trữ và hiệu năng thiết bị. Tệp mô hình có thể nặng tới vài trăm MB, vì vậy việc tải xuống được khuyến nghị thực hiện qua Wi-Fi. Tốc độ xử lý và trải nghiệm sử dụng cũng có thể khác nhau tùy theo dung lượng bộ nhớ và năng lực xử lý của từng thiết bị.

Một điểm đáng chú ý khác là cách phát triển dự án. Off Grid được công bố là dự án mã nguồn mở theo giấy phép MIT, và nhà phát triển mô tả đây là “con dao đa năng của AI offline”. Trên GitHub, dự án nhấn mạnh các tiêu chí “ưu tiên quyền riêng tư, không kết nối Internet” và “không có dữ liệu nào rời khỏi điện thoại”, qua đó khẳng định cấu trúc không truyền dữ liệu ra bên ngoài.

Trong bối cảnh mối quan tâm đối với AI chạy cục bộ ngày càng tăng, Off Grid đang thu hút chú ý nhờ cung cấp một nền tảng tập trung để quản lý và vận hành nhiều mô hình tại cùng một nơi. Dù vậy, dung lượng lưu trữ và hiệu năng phần cứng vẫn sẽ là những yếu tố quyết định khả năng phổ biến của mô hình này trong thời gian tới.