ElevenLabsは8月10日、原音の感情表現や演技のニュアンスを反映できる音声吹き替えAIモデル「Dubbing v2」を、同社のAPI「ElevenAPI」で提供開始したと発表した。
Dubbing v2は、5月28日に先行してUI版を公開していた。今回のAPI公開により、開発者や企業は自社製品や業務フローに同モデルを組み込めるようになった。
同社によると、Dubbing v2は音声を別の音声へ直接変換する「audio-to-audio」アーキテクチャを採用する。音声認識、翻訳、音声合成（クローン音声）を順に行う従来方式とは異なり、入力音声をもとに出力音声を直接生成することで、感情表現や演技の再現性を高めたという。
ElevenLabsは今後、グローバル向けに高品質なコンテンツ提供を目指すコンテンツクリエイターやメディア企業、法人顧客を中心に、Dubbing v2の展開を広げる方針だ。
Dubbing v2は92言語に対応し、日本語も含む。ElevenLabsは、日本コンテンツの海外展開に向けた高品質な多言語吹き替えに加え、海外の主要コンテンツの日本語吹き替えなど、ローカライズの両面で活用が広がるとみている。
著者について
Chi-gyu Hwang
delight@d-today.co.kr