Netflixは、動画内の特定の物体を消去し、対象が最初から存在しなかったかのように周囲の動きまで自然に補完するAIモデル「VOID」を公開した。The Registerが3日（米国時間）に報じた。
VOIDは「Video Object and Interaction Deletion」の略。単に動画から物体を削除するだけでなく、その物体がなかった場合に場面全体がどう推移したかを再構成するビジョン・ランゲージ・モデル（VLM）だ。
例えば、2台の車が正面衝突する映像から片方の車両を取り除くと、VOIDは残った車両がそのまま道路を走り抜ける映像を生成する。衝突に伴って生じた破片や煙、炎も消去し、何事もなかったような道路の状態を補完するという。人物がプールに飛び込んで水しぶきが上がる場面でも、人物を除去すると、水面が最初から静かだったかのような映像を再現できるとしている。
VOIDを開発したNetflixとソフィア大学の研究チームは、公開前のプレプリント論文で、このモデルについて、複雑な状況でも物理的にもっともらしいインペインティングを実現する動画オブジェクト除去フレームワークだと位置付けた。
インペインティングは、画像や映像の欠損部分、あるいは削除した部分を、周囲の情報を基に自然に補完する技術を指す。
NetflixはVOIDをHugging Faceで公開しており、誰でも利用できる。動画内の物体除去ではRunwayやDiffuEraser、ProPainterなどの類似ツールもあるが、研究チームによる25人対象の選好調査では、VOIDが64.8%の支持を集め、18.4%だったRunwayを大きく上回った。
著者について
Chi-gyu Hwang
delight@d-today.co.kr