WhaTap Labsは6月9日、GPUモニタリング、LLMオブザーバビリティ、AIベースの自律運用を統合する戦略を発表した。あわせて、LLMオブザーバビリティ機能の正式提供を開始した。
同社は同日開催した「LLMオブザーバビリティ・メディアデー」で、GPUモニタリング、LLMオブザーバビリティ、自律運用をつなぐフルスタックのロードマップを示した。
WhaTap Labsは2025年に「AIネイティブ・オブザーバビリティ」のビジョンを打ち出し、GPUモニタリングの提供を開始している。今回、これにLLMオブザーバビリティを正式に加えた。
対話型AI「WhaTap AI」については、自動異常検知、原因推論、対処の高度化も進めている。WhaTap Labsによると、AI環境の障害は従来のITシステムとは異なり、単一の原因ではなく複数レイヤーの要因が複雑に絡み合って発生するという。
例えばサービス遅延が起きた場合でも、推論用GPUの不足、LLM APIの応答遅延、検索段階のボトルネック、アプリケーション呼び出しエラーなど、原因は多岐にわたる。このため、全レイヤーを横断して可視化することが重要になるとしている。
同社は今回の統合戦略を通じ、AIシステム全体を一連の流れとして追跡できるよう支援する考えだ。企業のIT運用チームは、内部が見えにくくブラックボックス化しがちなAIシステムを、単一のプラットフォーム上で一元的に分析できるようになるとしている。
開発統括は「複雑なAIレイヤーを一目で見渡せる顧客の“目”になるため、分断されたモニタリングを超え、AIリソース、品質、自律運用を一つの流れでつなぐ技術革新を進めている」と説明した。そのうえで「今後はAIが先に異常を検知し、原因を推論して自動で対処する、AIベースの自律運用へと技術を発展させていく」と述べた。
Chi-gyu Hwang
delight@d-today.co.kr