The Vergeの記者が、PC上で直接動作するローカルAIエージェントの実用性を検証した。機密性の高いデータをクラウドに送らず、個人利用や業務の一部を処理できる点に利点がある一方、万能なツールではないと評価している。

The Vergeは10月11日（現地時間）、同記者がローカルAIエージェントを実務に投入した体験を紹介した。

記者は、統合メモリ256GBを備えたM5 Ultra搭載のMac Studioに、オープンソースの「Hermes Agent」を導入した。Hermes AgentはmacOS、Windows、Linuxに対応するセルフホスト型のAIエージェントアプリで、ローカルモデルのみを利用する場合は無料だという。

採用したモデルは、1250億パラメータ、約105GBの「Qwon 3.8 Flash Next」。さらにTelegramボットとも連携し、スマートフォンから操作できるようにした。

セットアップ自体は短時間で終わったものの、実際に何を任せるかの見極めには苦労した。まず試したのは、メールや予定の確認、天気通知をまとめる朝のブリーフィングだった。

ただ、当初は失敗が続いた。午前7時30分の実行時刻にMacがスリープしていたためだ。記者は、その程度の処理に1万2000ドルのコンピュータは不要だと評している。

一方で、より有用だったのが400本超のSteamゲームの整理だった。Steamにはゲームを自動分類する機能がないため、記者がSteam Web APIキーを発行して渡したところ、Hermes Agentは数分でジャンル別に分類した。独自に設定していた「お気に入り」「協力プレイ」などのカテゴリは残したままで、作業後にはAPIキーをすぐ破棄したという。

このほか、金融記録の分析や、発表前の新型ノートPCに関する仕様比較表の作成にも活用した。クラウドに載せたくない機密性の高いデータを手元のPC内で処理できるかどうかが、採用を判断する決め手になったとしている。

現在は、ノートPCのベンチマークテストを自動化するPythonスクリプトを、Hermes Agentとともに作成しているという。

記者は、強力なローカルモデルであっても、あらゆる作業をこなす魔法の秘書ではないと指摘した。朝のブリーフィングではすでに複数回トラブルが起きており、ローカルAIはデジタルの友人ではなく、あくまでコンピュータプログラムとして扱うべきだとの認識を示した。