KAISTは5日、ユ・ミンス電気・電子工学科特別教授の研究チームが、AIエージェントの計算資源使用量と消費電力を実運用環境で体系的に分析したと発表した。分析の結果、700億パラメータ規模の大規模言語モデル(LLM)をベースとするAIエージェントは、質問1件当たり平均348.41Whの電力を消費し、従来型の生成AIによる単純な質疑応答と比べて最大136.5倍に達したという。
研究チームは、AIエージェントを単なるプログラムではなく、データセンターのサーバーやGPUが継続的に処理する新たなワークロードと位置付け、その実行過程で生じる計算量とエネルギー消費を調べた。
その結果、AIエージェントは、従来の段階的推論(Chain-of-Thought、CoT)のように思考過程を順に展開する方式とは異なり、作業の実行中にLLMを繰り返し呼び出すことが分かった。新たな判断や回答生成のたびに言語モデルを複数回実行するため、計算量と応答時間がともに増加するという。
応答時間は従来方式に比べて最大153.7倍に伸びた。インターネット検索やコード実行などを外部ツールが処理している間は、GPUが計算できずに待機する時間も発生し、その割合は全実行時間の最大54.5%に上った。
KAISTは、AIが複雑な業務を担うほど、高価なGPUを十分に使い切れない新たな非効率が生じ得ることを示す結果だとしている。
電力面でも負荷は大きい。研究チームによると、商用AIサービスで使われる水準の700億パラメータLLMベースのAIエージェントは、質問1件の処理に平均348.41Whを消費した。これは既存の生成AIによる単純な質疑応答方式と比べ、136.5倍高い水準だという。
さらに、将来的に1日当たり137億件のAIエージェントへのリクエストが発生する環境を想定して試算したところ、AIデータセンターの電力需要は約198.9GWに達すると見積もられた。各国が進める数GW規模のAIデータセンターを大きく上回り、米国全体の平均電力消費量のおよそ半分に相当する規模になるとしている。
研究チームは今回の成果について、AI時代の競争力が「より賢いAI」だけでなく「より効率的なAI」へと広がっていることを示すものだと説明した。モデル性能の向上に加え、AI半導体、データセンター、電力インフラを一体で最適化する共同設計(Co-design)が必要だとしている。
また、共同設計はAIサービスの運用コスト低減と、持続可能なAIインフラ構築の中核技術として活用できるとした。
ユ・ミンス特別教授は、AIエージェントの普及が進む中では、AIデータセンターだけでなく、AIエージェントモデルや電力インフラまで含めて一体的に共同設計し、最適化するアプローチが重要になると強調した。あわせて、利用者のAIサービス利用コストを大幅に引き下げるとともに、持続可能なAIインフラ構築に向けた研究と投資が必要だと述べた。
本研究は、電気・電子工学科のキム・ジイン博士課程学生が筆頭著者として進めた。成果は、コンピュータシステム設計分野の国際学会「第32回IEEE高性能コンピュータアーキテクチャ国際シンポジウム(HPCA)」で2月に発表された。
研究チームは、論文で用いたAIエージェントの実装技術と、性能比較・評価向けベンチマークをオープンソースとして公開し、後続研究に活用できるようにした。
本研究は、情報通信企画評価院(IITP)のSWスタラボ、AI半導体を活用したK-クラウド技術開発事業、AI半導体基盤データセンター高度化先導技術開発事業、Samsung Electronics未来技術育成センターの支援を受けて実施された。