Googleは12日、手話をスマートフォンのカメラで認識し、テキストに変換するAIモデル「SL2T」を公開した。まずは「Pixel 11」に搭載し、初期版では米国手話を英語テキストに翻訳する。

米SiliconANGLEによると、SL2Tは、聴覚障害者や難聴者がカメラに向かって手話を示すと、その内容をテキスト化する仕組み。キーボードを使わずに、手話でWeb検索したり、メールやSMSの下書きを作成したりできる。文書編集のほか、Geminiに質問して回答を得たり、処理の実行を指示したりする用途も想定する。

Googleは、対面での会話をテキスト表示する「Live Transcribe」でも、手話による返答入力に対応するとしている。

SL2Tは多言語対応を前提に設計した手話翻訳モデルだ。Googleは、世界の聴覚障害者・難聴者を約7000万人と見積もる一方、200以上の手話を使うユーザーは、これまでAI開発の対象として十分に取り上げられてこなかったと説明。SL2Tは、そうしたユーザーが手話でスマートフォンを操作できるようにすることを狙う。

学習には、50以上の手話にまたがる10万時間超のデータを用いた。このうち約4分の1は米国手話のデータだった。ただ、初回リリース時点で対応するのは米国手話のみ。複数の手話を同時に学習させることで、手話間で共通する構造的なパターンを獲得させたという。

処理面では、端末上のコンピュータビジョンモデル「MediaPipe Holistic」が顔、手、腕、胴体の位置を追跡し、クラウドには映像そのものではなく座標情報だけを送信する。Googleは、映像をアップロードしない設計によって、処理速度と安全性の両立を図ったとしている。

またSL2Tは、中間表現である「グロス」を介さず、手話の動きを直接テキストへ変換する。遅延を抑えるための最適化に加え、手話ではない動きを誤認しにくくする仕組みも取り入れた。左利きや片手による手話にも対応する。

性能評価では、FLEURS-ASLベンチマークでBLEURT 70点を記録した。Googleはあわせて、聴覚障害者団体や手話の専門家と連携するAI手話諮問委員会を設置。同委員会は、技術の責任ある活用を支援するとともに、SL2Tの機能と現時点の制約を整理した報告書を共同でまとめる予定だ。

Googleは今後、対応する手話を拡大するほか、手話生成モデルの開発も進める方針を示した。