企業が人工知能(AI)を導入する際、モデル性能やトークン単価だけで採算を判断するのは不十分で、インフラと長期運用費を含めた全体の経済性を見極める必要がある――。そんな見方を、Argyll Data Development創業者兼会長のピーター・グリフィス氏が示した。
グリフィス氏は18日(現地時間)、ITメディア「TechRadar」への寄稿で、企業向けAIが実証実験の段階を超えて基幹業務に組み込まれるにつれ、コスト評価の軸も変わるべきだと指摘した。重要なのはトークン当たりの価格ではなく、企業規模で無理なく負担でき、かつ予見可能なコストで持続的なAI活用基盤を確保できるかどうかだとした。
AIサービスは表向きにはトークン単位で課金されるが、その裏側では計算資源やメモリ、ネットワーク、電力、冷却といった物理インフラに支えられている。小規模な検証を終え、本番環境で数百万件規模の推論処理を回し始めると、インフラ効率のわずかな違いが長期的に積み上がり、最終的に大きなコスト差になるという。
同氏は、推論向けに最適化した専用インフラであれば、学習用アーキテクチャ中心の構成よりもエネルギー効率を高められるとの見方を示した。消費電力が下がれば、冷却要件や設備設計の複雑さも抑えられ、インフラのライフサイクル全体で運用コストの削減につながるとしている。
もっとも、従量制のトークン課金が不要になるわけではない。利用量の変動が大きいケースや、AI活用を試行する初期段階では、依然として柔軟な選択肢だという。ただ、AIが日常業務に深く組み込まれ、トークン消費が増え続ける局面では、コストの予測や統制が難しくなる可能性がある。とりわけトークン使用量は、AIをどれだけ使ったかは示せても、その利用が売上増や生産性向上にどこまで結び付いたかまでは示しにくい。
こうした背景から、同氏は専用の推論インフラを自社で構築する方式も代替案として挙げた。従量課金で都度支払うのではなく、一定の運用費を前提にAI処理能力を確保すれば、性能やデータの所在、システムのレジリエンスに対する統制を強めやすいという。自社の再生可能エネルギーや長時間型のエネルギー貯蔵設備を組み合わせ、電力コストの変動を抑える選択肢も検討できるとした。
企業がAIで追うべきKPIも、「どれだけトークンを使ったか」ではなく、「どのような事業成果を生んだか」に移すべきだと同氏は指摘する。基盤モデルが継続的に更新される以上、企業はコストだけでなく、モデル変更が性能や規制順守、リスクに及ぼす影響まで管理する必要がある。企業向けAIの競争力は、最も安いトークンを買うことではなく、予見可能なコストで持続可能なAI基盤を築き、実際の事業価値につなげられるかにあると結論付けた。