企業がAIコストを最適化するには、単に安価なモデルを選ぶだけでは不十分で、不要なトークン消費や重複処理そのものを減らす設計が重要になる――。Alteryxの最高製品責任者（CPO）、ベン・キャニング氏がこうした見方を示した。

同氏は米ITメディアTechRadarへの寄稿で、企業のAI活用が実証段階から本格運用へ移るなか、モデル利用料が新たな負担になっていると指摘した。モデルルーティングやオープンウェイトモデルの活用が代替策として注目を集めているものの、それだけでコスト問題を解決するのは難しいという。

足元では、中国のMoonshot AIによる「Kimi K3」のように、低コストと高性能をうたうモデルも登場しており、用途ごとに最適なモデルを使い分ける戦略が広がっている。ただ、キャニング氏は、どのモデルを使うかを議論する前に、そもそもその業務に大規模言語モデル（LLM）が必要なのかを見極めるべきだと主張した。

例えば、ファイルの照合や社内ルールの適用、コンプライアンスチェックといった反復業務をLLMに都度処理させると、同じ文脈やルールを毎回再解釈することになり、トークンと計算資源を繰り返し消費する。とりわけ、企業固有の売上やマージンの算定ルール、各種規程を毎回読み込ませる運用では、コストが膨らむだけでなく、回答ミスのリスクも高まるとした。

その代替策として同氏が示したのが、「ビジネスロジック層（Business logic layers）」の整備だ。反復業務に必要な分析手順や、企業ごとのルール・定義をあらかじめワークフローとして構築し、LLMの役割は計算そのものではなく、算出済みの結果を参照して説明することに絞る。

例えば、あるチームのマージンを尋ねるケースでは、クラウド上のデータ基盤で計算を完結させ、モデルは結果だけを返す構成にする。こうすることで、大規模な文脈処理や重複計算を抑えられるという。

税務、財務、コンプライアンスのように、定められたルールに基づく一貫した回答が求められる分野では、こうした構成は正確性の面でも重要になる。キャニング氏は、AIコスト最適化の要諦は「より安いトークン」を探すことではなく、信頼できるワークフローとビジネスロジック層を整備し、不要なトークンをそもそも発生させないことにあると強調した。