企業が社内でのAI活用を広げる一方、膨らむコストへの対応に動き始めた。英Financial Times（FT）によると、AmazonやWalmart、Cisco、Uber、Metaは、利用上限の設定や不要な利用の抑制、より低価格なモデルへの切り替え促進などを通じて、AI支出の管理を強化している。

FTは、こうした動きについて、企業のAI導入が新たな局面に入ったことを示すものだと報じた。従業員の利用がチャットボットにとどまらず、複雑な業務を自律的にこなすAIエージェントへ広がったことで、必要な計算資源も増えているためだ。企業は、どの業務をAIエージェントに任せるべきか、費用対効果の見極めを迫られているという。

さらに、AnthropicやOpenAIが一部サービスで定額制からトークン課金へ移行したことも、コスト負担を押し上げる要因になっている。企業によっては、従業員1人あたり10～100体、多い場合は1000体のAIエージェントを持つ可能性もあり、エージェントが継続的に稼働すれば、計算資源の消費拡大は避けられないとの見方が出ている。

ソフトウェア企業のWorkatoでは、昨年夏に約1300人の従業員がAIエージェントの利用を始めて以降、利用量が急増した。こうした中、Anthropicが5月にトークン課金へ移行したことで、同社のAI関連支出は大きく膨らんだという。

Deloitteでグローバル生成AIリーダーを務めるコスティ・ペリコス氏は、「演算コストがCFOや取締役会にとって重要な論点になり始めた」と指摘したうえで、「消費者も企業も、AIは安い、あるいは無料だと受け止めてきたが、実際にはそうではない」と述べた。

OpenAIのサム・アルトマンCEOも、コストは今年になって顧客にとって「巨大な問題」として浮上したとし、「昨年にはまったくなかった問題だ」と語った。

Goldman Sachsのアナリストは先月、AIエージェントの利用拡大により、2030年までにトークン消費量が24倍に増えると予測した。計算需要の急増を受け、今後12～18カ月にわたって半導体不足が一段と深刻化する可能性があるとしている。