KAISTは17日、AI半導体大学院のユ・フェジュン教授の研究チームが、利用者ごとに最適化しながら進化する個別最適化型の大規模言語モデル（LLM）アクセラレータ「Soulmate」を開発したと発表した。

Soulmateの中核となるのは、クラウドなどの外部サーバーを介さず、端末内でデータ処理を完結させるオンデバイスAI技術だ。

研究チームは、過去の対話内容を参照して回答精度を高める検索拡張生成（RAG）と、利用者のフィードバックを即座に学習へ反映する低ランク適応（LoRA）を半導体内部に直接実装した。これにより、0.2秒で応答しながら学習も並行して行う、リアルタイムの個別最適化AIシステムを実現したという。

さらに、情報の重要度に応じて処理方式を切り替える混合ランクアーキテクチャを適用し、消費電力を大幅に抑えた。消費電力は9.8ミリワット（mW）で、複雑な学習と推論を同時に実行できるとしており、スマートフォン向けプロセッサの約500分の1の水準だとしている。

個人データを外部サーバーに送らず、端末内だけで処理を完結する構成も採用した。これにより、個人情報流出リスクの低減につながるとしている。研究チームは今後、スマートフォンやウェアラブル機器、パーソナルAIデバイスなど次世代プラットフォームとの連携を通じて、本格的な個別最適化AIサービスの実現につながるとみている。

ユ・フェジュン教授は「人が友情を育む過程になぞらえ、AIが利用者にとって真のパートナーへと発展できる技術基盤を整えた」とコメントした。

今回の研究には、博士課程のホン・ソンヨン研究員が筆頭著者として参加した。研究成果は、米サンフランシスコで開かれた国際固体回路会議（ISSCC）で「Highlight Paper」に選定された。Soulmate AI半導体は、教員創業企業のOnnuroAIを通じて、来年ごろの製品化を目指す。