企業のAI投資は、モデルを学習させる段階から、学習済みモデルを本番環境で継続的に動かす段階へと重心を移している。ストレージ障害や容量予測のずれ、更新サイクルの遅れといった従来型のデータセンター課題とは異なり、2026年以降のAIインフラ運用では、24時間・大規模で稼働する推論ワークロードへの対応が問われる。

この変化は、もはや将来の見通しではない。実際の課題は、推論が学習より技術的に難しいという点よりも、本番運用の現場でそれを十分に経験してきたインフラ組織がまだ多くないことにある。対応を本格化させた時には、求められる基準がすでに先に進んでいる可能性も高い。

■学習は一過性、推論は常時稼働

Deloitteによると、2025年のAI演算全体に占める推論の比率は約半分に達した。2023年時点では3分の1程度だったことを踏まえると、増加ペースは速い。

複数の分析でも、本番環境のAIシステムにかかる運用コストの80〜90％は推論段階で発生するとの見方でおおむね一致している。これは1回あたりのリクエスト単価が高いからではなく、推論が止まることなく継続稼働する構造に起因する。

学習がデータセンターに一時的な高負荷を与えるのに対し、推論は基盤の設計思想そのものを変える。AIを組み込んだ新機能やワークフロー自動化サービスが増えるたびに、インフラに求められる基準は引き上げられ、その水準は容易には下がらない。従来とは異なるコスト構造に合わせ、インフラ戦略そのものを見直す必要がある。

■推論がオンプレミス回帰を促す理由

企業のAIは当初、クラウドを基盤に広がった。実験や検証の段階では合理的な選択だったが、推論が本番運用へ移るにつれて、基盤設計は複雑さを増している。

遅延を抑えるには、データに近い場所で処理する必要がある。しかも利用規模が大きくなるほど、コスト負担は急速に膨らむ。加えて、大容量データや統制・規制の対象となるデータは、移動させるよりもその場で処理した方が有利になる。こうした「Data Gravity」の考え方も、あらためて存在感を強めている。

クラウドが学習や実験のような一時的トラフィックへの対応に適している点は変わらない。ただ、本番環境での推論では、ハイブリッド構成は移行期の暫定策ではなく、当初から織り込むべき設計として定着しつつある。

先行する企業や組織は、クラウドかオンプレミスかという単純な二者択一ではなく、データの所在、遅延要件、ガバナンス、コスト構造を踏まえてワークロードを配置している。その結果として、オンプレミスの重要性が再び高まっている。

■課題は演算能力だけではない

AIが本番運用段階に入ると、ボトルネックは必ずしも演算能力とは限らない。むしろ、データへのアクセス性が制約になるケースは多い。推論ワークロードは読み取り中心で遅延に敏感なうえ、常に最新の状態で管理されたデータを必要とするためだ。

モデルが参照するのは、過去のスナップショットではなく、リアルタイムに更新される企業データである。しかも、その多くは、もともとAIパイプラインとの連携を前提に設計されていないオンプレミスのシステムや業務データベースに存在している。

実務上の課題は、GPUクラスタそのものではなく、データが存在する場所と、モデルがそのデータを必要とする場所との間に生じる隔たりにある。

データを別のパイプラインへ複製する方式は、遅延とガバナンス上のリスクを同時に高める。規制業種では、データが一度移動するたびに、それ自体がコンプライアンス上の論点になり得る。

求められるのは、データが元々存在する場所で、それを利用するコンピューティング資源から近い位置で直接アクセスできる構造だ。推論が常時化し、さらにエージェント中心の運用へ進むほど、モデルが必要とするのは固定的なデータセットではなく、ポリシーに基づいて繰り返し参照できる「生きた」業務データへと変わっていく。

Hitachi Vantaraは、この課題に設計段階から対応している。「VSP 360」は、企業データインフラ向けのAI対応コントロールプレーンで、ストレージとデータ保護プラットフォームサービスのプロビジョニングから運用全般までを統合的に調整し、本番推論に求められる一貫性、性能、可用性を支える。

また、Hitachi IQ Studioは、推論ワークロード向けのAIベースのデータ管理・オーケストレーションサービスを提供する。データの複製や別途のステージングを不要にし、ポリシーベースのアクセスによってエンタープライズデータへ直接アクセスできるよう支援するほか、モデルに提供されるデータに対してガバナンス、データリネージ、品質管理、可観測性を適用する。

■次の段階に入るデータセンター運用

コスト構造も変わる。推論は一度定着すると業務運用に深く組み込まれ、簡単には削減できないインフラコストとなる。だからこそ、インフラ運用組織には、固定的なプロジェクト志向から脱し、反復的に発生するコストを継続的に最適化する消費モデルへの移行が求められる。

この変化を先行して取り込む組織には共通点がある。ピーク需要に合わせた計画から平常時の基準負荷管理へ、資産保有からサービス消費へ、単発の導入プロジェクトから日常的に安定稼働する運用プラットフォームへと、重心を移している点だ。

モデルをいかに速く学習させるかという競争は、すでに次の局面に入った。今後は、ガバナンスが効き、必要なときにアクセスでき、かつコンピューティングに近い場所にあるデータを使って、推論をどれだけ安定的に運用できるかが競争力を左右する。次の局面で競争力を維持できるのは、そうした前提で整備されたインフラである。