Red Hatは3月10日、SoftBank Corp.と連携し、同社のAI-RANオーケストレーター「AITRAS」にオープンソースの「llm-d」を統合したと発表した。RAN環境における大規模言語モデル（LLM）の推論を分散処理し、性能と運用効率の向上につなげる。
Red Hatによると、llm-dは同社を含む複数企業が共同で立ち上げたオープンソースフレームワークだ。無線アクセスネットワーク（RAN）環境でLLM推論を動的に分散処理できるよう設計されており、処理性能と効率の向上を見込む。
同社は、AI-RANの実装が現実的な選択肢となる中、通信事業者の関心がAIとRANを同一ハードウェア上で動かすことにとどまらず、これらをいかに効率的に運用・拡張するかに移っていると説明した。
また、AI-RANを商用化するには、AIワークロードをクラウドネイティブネットワーク機能（CNF）や各種アプリケーションと同等の柔軟性で運用できることが重要だとしている。
こうした課題を踏まえ、Red HatとSoftBank Corp.は、llm-dとvLLMを活用したAI-RAN分野での協業を進めている。
vLLMは、高性能モデルを単一GPUノード上で展開する用途で広く利用されるAI推論向けオープンソース技術。一方、複雑なマルチノード環境では、モデル配備や運用管理に課題が残る。llm-dはこうした課題に対応するために開発されたもので、Kubernetesを活用して複数ノードにまたがるvLLMをオーケストレーションし、その効率性を分散環境へ拡張することで、実運用レベルのAI推論を支援するとしている。
著者について
Chi-gyu Hwang
delight@d-today.co.kr