企業向けAIエージェントの導入では、必ずしも最新モデルを採用する必要はない――。大企業のAIエージェント導入を支援するVarickで、FDE（Forward Deployed Engineer）統括を務めるダニエル・コーナム氏はこのほど、X（旧Twitter）への投稿でこうした見解を示した。最新モデルより1〜2世代前のモデルでも、財務、人事、営業、購買といった業務の多くは十分に処理できるとする。

コーナム氏は、従業員40人が取引先から受け取る請求書を毎月3万件、手作業で照合して支払い処理する仮想企業を例に挙げた。

AIエージェントは請求書のPDFを読み取り、発注書や入庫記録と突き合わせたうえで、勘定科目を割り当ててERPに登録する。コーナム氏は、「PDFを読み、3つの文書を照合するのに、最高性能のモデルが本当に必要なのか」と問題提起した。

1カ月にわたり、従業員とAIエージェントが同じ請求書をそれぞれ処理し、結果を比較したところ、3万件のうち1800件、全体の約6％で処理結果に食い違いが生じた。

このうち700件は、必要な文脈情報の不足が原因だった。取引先が2年前のメールで通知していた請求方法や、担当者しか把握していない支払い条件などを、AIエージェントが参照できなかったためだ。

さらに500件は業務文書に記載のない例外対応、350件はシステム上のデータ誤りが要因だった。150件は人手よりもAIエージェントの判断の方が正しかったという。一方、モデルそのものに起因する誤りは100件で、全請求書の0.3％にとどまった。しかも、最新モデルへの切り替えで改善できるのは、その半分程度にすぎないとしている。

1550件は、文脈不足や例外処理、データ不備に起因するもので、モデルを置き換えても解決しない問題だと指摘した。必要なのはモデルの刷新ではなく、業務フローを理解し、不足している文脈を補うことだという。

モデルの切り替えにはコストもかかる。コーナム氏は、請求書1件当たり4万トークンを使う場合、月間では12億トークンに達すると説明した。100万トークン当たり2ドルのモデルと、10ドルの最新モデルでは、月間コストは2400ドルと1万2000ドルになる。これを50業務に広げると、年間では580万ドルの差になるという。

そのうえで、「新モデルを導入すべきなのは、既存モデルでは解決できない問題を解ける場合か、同等の性能をより低コストで使える場合に限られる」と述べた。

モデルを切り替えるたびに、AIエージェントを一から検証し直さなければならない点も重い負担になるという。コーナム氏は「モデルごとに出力形式やツールの使い方が異なるため、切り替えのたびにプロンプトを修正し、再テストする必要がある。四半期ごとに登場する新モデルを追い続ければ、1業務当たり年間8週間をここに費やすことになる。その間、モデルとは無関係のミスが放置されかねない」と語った。

代替策として同氏は、業務ごとに利用するモデルを定めたうえで、例外ケースを含む実際の請求書500〜1000件を使い、自社独自の評価セットを構築するよう提案した。加えて、特定ベンダーへの依存を避けるため、モデルとAIエージェントの間に中間レイヤーを設けるべきだとした。

さらに、「自社の業務の進め方を理解しているAIエージェントは、昨年のモデルに戻しても、それを理解していない最新モデルのエージェントより優れる」と指摘した。「警戒すべき競合は、最新モデルをいち早く使う企業ではない。昨年のモデルでも、すでに20の業務でAIエージェントを稼働させている企業だ」と述べている。