コーディング作業では、トークン単価が低いAIモデルでも、実運用ではかえって高コストになる可能性があることが分かった。AIの観測・評価を手がけるFiddlerの研究チームは、Anthropicの「Claude Haiku 4.5」と「Claude Sonnet 5」を比較した実験を通じて、API料金だけでなく、応答の長さや成功率を含めて評価する必要があると指摘した。Gigazineが22日に報じた。

実験では、Pythonプログラムのバグ修正に関する5つの課題を用意した。各課題を3回ずつ実行した15回分を1セットとし、各モデルで3セットを実施。1モデル当たり45回、合計90回の試行を行った。

各試行では、AIモデルがファイルの確認やコード修正、テスト実行などのコマンドを生成した。実験環境は、1回の応答につき実際に実行されるコマンドを1つに限定する設計とした。モデルが修正完了を報告した時点で試行を終了し、完了報告がない場合でも応答8回を上限として打ち切った。

研究チームが重視したのは、トークン単価そのものではなく、バグ修正の成功1件当たりに要した総コストだ。修正結果は非公開の別テストで検証し、これを通過した場合のみ成功として集計した。その上で、失敗した試行を含む総費用を成功件数で割り、成功1件当たりのコストを算出した。

結果には大きな差が出た。45回の試行にかかった総費用は、Sonnetが0.45ドル（約68円）だったのに対し、Haikuは4ドル（約600円）だった。セット別に見た成功1件当たりのコストでも、HaikuはSonnetを8.4〜14.1倍上回った。

一方、トークン単価だけを見ればHaikuのほうが安い。入力・出力ともにSonnetの半分程度の単価だったが、実際の作業ではHaikuがはるかに多くのトークンを生成し、低単価のメリットを相殺した。

最大の要因は応答の長さだ。出力トークン数の中央値は、Sonnetが16だったのに対し、Haikuは361に達した。研究チームによると、Haikuには、実際にはまだ実行されていないコマンドの結果まで先回りして生成する傾向があったという。

実行結果を待たずに想定上の結果を書き出し、その内容を前提に次のコマンドや結果まで続けて生成していた。このため、実環境では実行されない内容まで出力トークンとして課金対象となり、コストを押し上げた。

ある試行では、この傾向が極端な形で表れた。Haikuは1回の応答で60個のコマンドと仮想の実行結果をまとめて生成し、修正完了を報告するまでに計2万1492トークンを消費した。

ただ、実験環境で実際に実行されたのは、応答に含まれる最初の1コマンドだけだった。残る59個は実行されないまま出力テキストとして扱われたが、コストにはすべて含まれた。

長い応答は、その後のコストも押し上げた。実験環境では過去の対話履歴を毎回入力し直すため、冗長な出力が次回以降の入力トークン増加につながった。研究チームの例では、5回目のやり取りにおける入力トークン数はHaikuが9930、Sonnetが1220だった。

追加分析でも、応答の長さがHaikuのコスト差を広げていることが確認された。短い応答グループの試行当たり費用は0.00235ドル（約0.35円）で、Sonnet全体の平均である0.00244ドル（約0.37円）を下回った。一方、長い応答グループは0.01693ドル（約2.54円）と、短い応答グループの7.2倍に達した。

Fiddlerは、問題はHaikuの低いトークン単価そのものではなく、作業に不要な長文応答を生成した場合にコスト構造が大きく変わる点にあるとみている。ただし、こうした結果がすべてのコーディング作業で同様に再現されるわけではなく、課題の種類や実行環境、モデルの使い方によって差が出るとしている。

その上で研究チームは、コーディング業務にAIモデルを導入する際、入力・出力トークンの単価だけで比較すべきではないと強調した。実務に近い課題で成功率と応答量を併せて測定し、失敗分も含めた成功1件当たりのコストで比較する必要があるという。

今回の実験は、AIエージェントを前提としたコーディング環境では、モデル選定の基準が変わり得ることも示した。不必要に長い応答は出力コストを増やすだけでなく、その後の対話に伴う入力コストまで押し上げるためだ。コーディングAIの価格競争力は、トークン当たりの単価ではなく、実際の作業を成功させるまでに要する総コストで見極める必要があるとしている。