KAIST ngày 17/3 cho biết nhóm nghiên cứu do giáo sư Yoo Hoi-jun thuộc Trường Cao học Bán dẫn AI dẫn dắt đã phát triển Soulmate, chip tăng tốc mô hình ngôn ngữ lớn (LLM) cá nhân hóa có khả năng tự thích nghi theo đặc tính người dùng.

Điểm nổi bật của Soulmate là kiến trúc AI on-device, cho phép xử lý dữ liệu trực tiếp trên thiết bị mà không cần gửi lên máy chủ đám mây.

Theo KAIST, nhóm nghiên cứu đã tích hợp trực tiếp lên chip hai công nghệ cốt lõi gồm RAG (tạo sinh tăng cường truy xuất), giúp tạo câu trả lời theo ngữ cảnh từ nội dung hội thoại đã lưu, và LoRA (tinh chỉnh hạng thấp), cho phép hệ thống học ngay từ phản hồi của người dùng.

Nhờ đó, Soulmate có thể phản hồi trong 0,2 giây, đồng thời vẫn tiếp tục học trong quá trình trả lời, qua đó mở ra nền tảng AI cá nhân hóa theo thời gian thực.

Nhóm cũng áp dụng kiến trúc mixed-rank để tối ưu cách xử lý theo mức độ quan trọng của thông tin, từ đó giảm đáng kể điện năng tiêu thụ.

Con chip này có thể vừa suy luận vừa học với mức tiêu thụ điện chỉ 9,8 mW, tương đương khoảng 1/500 điện năng tiêu thụ của bộ xử lý trên smartphone.

KAIST cho biết toàn bộ dữ liệu cá nhân được xử lý ngay trên thiết bị, không truyền ra máy chủ bên ngoài. Cách tiếp cận này giúp tăng cường bảo mật và giảm rủi ro rò rỉ thông tin cá nhân.

Nhóm nghiên cứu kỳ vọng công nghệ trên có thể được ứng dụng vào smartphone, thiết bị đeo và các thiết bị AI cá nhân thế hệ mới, qua đó thúc đẩy dịch vụ AI cá nhân hóa thực sự.

Giáo sư Yoo Hoi-jun cho biết nghiên cứu này đặt nền móng kỹ thuật để AI có thể trở thành một người bạn đồng hành thực sự của người dùng, mô phỏng cách con người xây dựng tình bạn trong đời sống.

Công trình này, với nghiên cứu viên cao học Hong Seong-yeon là đồng tác giả thứ nhất, đã được chọn là “bài báo nổi bật” tại Hội nghị quốc tế về mạch tích hợp thể rắn ISSCC diễn ra ở San Francisco, Mỹ.

KAIST cũng cho biết chip AI Soulmate dự kiến sẽ được thương mại hóa vào khoảng năm sau thông qua OnNeuroAI, một startup do giảng viên sáng lập.