NVIDIAは15日（現地時間）、放送やスポーツ中継、配信向けAI基盤「NVIDIA AI for Media」の機能拡充を発表した。映像フレーム生成、超解像、人物の動作追跡、リップシンク、音声補正までを単一のAIパイプラインで処理できるようにし、放送制作のワークフロー全体へのAI適用を進める。

新機能の「Video Frame Generation（VFG）」は、既存フレームの間にAIで中間フレームを生成し、フレームレートを2倍または4倍に引き上げる。スポーツ中継では、より滑らかなリプレイやスローモーション映像の制作に活用できるという。6倍・8倍への拡張は実験段階としている。

「Video Super Resolution（VSR）」は、低解像度の映像を最大8Kまで高精細化し、ノイズやぼやけ、圧縮に伴うアーティファクトを低減する。10ビット映像にも対応する。「TrueHDR」はSDR映像をリアルタイムでHDRへ変換し、元映像のコントラストを保ちながら、輝度表現を最大約2000ニト相当まで拡張する。NVIDIAによると、VFG、VSR、TrueHDRは単一の映像処理パイプライン上で連続適用できる。

映像処理に加え、人物解析機能も拡充した。「3D Body Pose」は単眼カメラ映像から、マーカーレスで全身の関節動作を追跡し、3Dアニメーション向けデータへ変換する。スポーツ選手の分析やリプレイ制作、アニメーション制作などでの活用を見込む。

コンテンツのローカライズでは、「LipSync」と「Active Speaker Detection」を活用する。LipSyncは翻訳後の音声に合わせて、映像内の人物の口の動きをリアルタイムで調整する。Active Speaker Detectionは映像と音声を同時に解析し、複数人物の中から実際の発話者を特定する。LipSyncはフランス語、ドイツ語、スペイン語にも対応する。

音声分野では、「Studio Voice」が一般的なマイク音声を放送品質に補正する。ノイズ除去機能により周辺ノイズの低減にも対応する。NVIDIAはAI生成映像の検知ツール「Synthetic Video Detector」も改良した。生成、編集、翻訳、検証に至る放送制作の全工程へAIを適用する戦略を鮮明にした形だ。