Black Forest Labsは7月23日、動画と音声を同時に生成する新AIモデル「FLUX 3」を発表した。最大20秒の映像に加え、映像に合わせたせりふや効果音、BGMまで生成できるのが特徴で、同社はロボット制御への応用方針も打ち出した。

ブロックチェーン系メディアのDecryptが現地時間7月23日に報じたところによると、FLUX 3は映像と音声を一体で生成するマルチモーダルAIモデルだ。静止画生成を中心としてきたFLUXシリーズとしては、動画と音声、さらにロボティクス分野にまで領域を広げる初の取り組みとなる。

モデルの基盤には、画像、動画、音声を単一の枠組みで学習するアーキテクチャを採用した。これにより、映像内の状況に応じて、音声や効果音、BGMを自然に組み合わせて出力できるとしている。

提供は当面、先行アクセスに限る。動画生成とアクション機能はAPIおよび一部パートナー向けに先行提供し、画像生成機能は数週間以内に追加する予定。ローカル実行が可能な公開ウェイト版は「FLUX Dev」のみで、公開時期は2026年後半としている。

性能面では競争力も訴求した。評価者が2つの出力を見比べて優れた動画を選ぶ比較評価で、FLUX 3はRunway Gen-4.5に対して77%、Luma Ray 3.2に対して93%の選好率を記録したという。Gemini OmniやSeedanceとの比較でも52%の選好率で上回ったと説明した。ただし、これらは定量ベンチマークではなく、人の選好に基づく結果としている。

同社は今回、FLUX 3をコンテンツ制作ツールにとどめず、「Physical AI」分野の基盤として活用する方針も示した。共同創業者兼CEOのロビン・ロンバッハ氏は、「画像だけで学習したモデルは画像しか生成できない」としたうえで、「動画を予測する過程は、重さや接触、タイミングといった現実の物理法則を学ぶ過程でもある」と説明した。

この考え方を踏まえて開発したのが、ロボットAIモデル「FLUX-mimic」だ。チューリヒ拠点のスタートアップMimic Roboticsと共同開発したもので、FLUX 3の動画予測エンジンに軽量デコーダーを組み合わせ、映像上の動きを実機のロボット動作に変換する仕組みだという。

Audiはすでにこの技術を生産ラインで試験している。対象は自動車のドアシール装着工程で、従来の自動化設備では対応が難しかった軟質素材の組み立て作業だ。Mimic Robotics共同創業者のステファン＝ダニエル・グラベルト氏は「AudiはFLUX-mimicの適用先を示す代表例だ」と説明した。Audiのクリストフ・シュナイダー氏も、従来の自動化装置では扱いにくかった複雑な軟質物体の操作をロボットで実行できるようになったと評価した。Black Forest Labsによると、システム全体の応答速度は約101ミリ秒で、人間の視覚反射速度に近いとしている。

今回の発表は、Black Forest Labsが事業領域を拡大しつつあることを印象づけた。同社は2024年、Stability AIで初期のStable Diffusion開発に携わったメンバーが設立したスタートアップとして注目を集め、初期のFLUXモデルでMidjourneyと競合した。公開型のFLUX DevとFLUX Schnellはオープンソースの画像生成分野で高い評価を得た一方、その後投入したFLUX.2は、従来ほどの存在感を示せなかった。

同社はFLUX 3を通じて、画像生成中心だった事業を動画生成とロボティクスへ広げ、新たな成長源の確保を目指す。ただ、中核機能の提供はなお限定的で、当面はAPI経由と一部パートナー向けが中心となる。公開ウェイト版も2026年後半の公開予定で、今後は提供先の拡大とパートナー網の構築が普及の鍵を握りそうだ。