Perplexity. Ảnh: Shutterstock

Perplexity đã giới thiệu Portable Computer, phiên bản chạy cục bộ của nền tảng AI agent Computer, cho phép xử lý dữ liệu ngay trên thiết bị thay vì phụ thuộc hoàn toàn vào đám mây.

Theo VentureBeat ngày 25/8, Portable Computer có thể vận hành trên Nvidia DGX Spark và các thiết bị Linux được trang bị GPU RTX.

Perplexity cho biết sản phẩm được phát triển với sự phối hợp chặt chẽ cùng Nvidia. Toàn bộ mô hình, tệp người dùng và kết quả xử lý được lưu và xử lý ngay trên thiết bị. Các tác vụ chạy cục bộ sẽ không bị trừ credit. Theo cơ chế mặc định, mọi tác vụ được khởi chạy trên máy; chỉ khi cần chuyển sang các mô hình frontier trên đám mây có năng lực cao hơn, hệ thống mới yêu cầu người dùng phê duyệt.

Nate, Phó chủ tịch phụ trách hạ tầng và kỹ thuật doanh nghiệp của Perplexity, cho biết công ty giữ nguyên trải nghiệm giao diện người dùng, đồng thời chuyển nền tảng sang mô hình ứng dụng vận hành hoàn toàn cục bộ. Theo ông, các thành phần cần thiết cho tác vụ trên thiết bị, gồm bộ điều phối agent và năng lực suy luận, đều đã được tích hợp đầy đủ.

Ở phía Nvidia, Nader, Giám đốc công nghệ dành cho nhà phát triển, nhận định AI cục bộ đã bước qua một cột mốc mới. Ông cho rằng trước đây lĩnh vực này chủ yếu gắn với cộng đồng đam mê tự chạy các mô hình quantized dung lượng nhỏ, nhưng bối cảnh đã thay đổi khi ngày càng có nhiều mô hình mã nguồn mở mang tính thực dụng xuất hiện.

Portable Computer được xây dựng trên phần mềm Nvidia DOCA, hỗ trợ các mô hình Qwen 3.8 27B và PPLX 27B. Hỗ trợ cho Nvidia Nemotron 3.5 Lightning cũng dự kiến sớm được bổ sung.

Trong bài kiểm tra nội bộ mang tên “Local Knowledge Work Bench”, phiên bản Computer dựa trên Qwen 27B đạt 82,6%, cao hơn các bộ công cụ mã nguồn mở như Pi với 77,6% và Hermes với 74,0%.

Trước mắt, Portable Computer được cung cấp trên Linux cho người dùng các gói Pro, Max, Enterprise Pro và Enterprise Max. Hỗ trợ Windows sẽ được bổ sung trong tháng 9. Cấu hình tối thiểu yêu cầu GPU RTX với VRAM từ 24 GB trở lên.

Từ khóa

#Perplexity #Portable Computer #AI agent #AI cục bộ #Nvidia #DGX Spark #GPU RTX #Linux #DOCA
Copyright © DigitalToday. All rights reserved. Unauthorized reproduction and redistribution are prohibited.