韓国科学技術院（KAIST）は7月31日、ノ・ヨンマン氏（電気・電子工学科）の研究チームが、マルチモーダル大規模言語モデル（MLLM）におけるセンサー理解を高め、視覚・聴覚情報の混同やハルシネーションを抑える2つの技術を開発したと発表した。自動運転や医療AIなどへの応用を見込む。

マルチモーダルAIは、テキストに加え、画像や音声、各種センサー情報を同時に扱うAIを指す。ただ、従来の一部モデルでは、センサーごとの特性を十分に区別できず、ある感覚で得た情報を別の感覚でも確認したかのように応答してしまう課題があった。

研究チームはまず、熱画像や深度画像、X線画像などについて、センサーが捉える物理量をAIが正確に理解できるようにする「DNA」を開発した。センサー理解を最適化する手法で、誤認しやすい事例を重点的に学習させることで、熱や距離といった情報の違いを識別しやすくした。

例えば従来モデルでは、熱画像内で明るく表示された領域を、高温ではなく可視画像の明るさとして誤って解釈する場合があったという。DNAの適用により、暗所や煙の中など通常のカメラでは対象物を捉えにくい環境でも、複数のセンサー情報を活用して物体をより正確に認識できるようになったとしている。

あわせて、視覚と聴覚の情報が相互に影響し合って生じるハルシネーションを抑える「MAD」も開発した。AIが回答前に、映像と音のどちらを判断の軸にすべきかを自ら切り分け、関連性の高い情報に重点を置くよう設計した。

KAISTによると、MADはモデル全体を追加学習し直すことなく、情報の混同やハルシネーションを効果的に低減できるという。DNAは少量のデータでも多様なセンサー理解の性能向上が見込め、MADは既存AIにも追加実装しやすい構成とした。

活用先としては、自動運転車、救助ロボット、熱画像ドローンなどの産業分野を想定する。複数の医療画像を同時に解析する医療AIへの適用も可能だとしている。

ノ・ヨンマン氏は「マルチモーダルAIを実環境で活用するには、多様なセンサーの特性を正確に理解し、複数の情報を混同しないことが重要だ」とコメントした。その上で「大規模な再学習なしに感覚バイアスとハルシネーションを抑え、産業現場で信頼できるマルチモーダルAIの基盤を整えた」と述べた。

両研究には、KAIST電気・電子工学科博士課程のチョン・サンユン氏が第一著者として参加した。ユ・ヨンジュン氏はDNA研究の共同第一著者を務めた。

MAD研究は2026年6月、コンピュータビジョン分野の国際学会「CVPR」で発表した。DNA研究は国際学術誌「IEEE Transactions on Image Processing」に掲載された。

研究は、情報通信企画評価院（IITP）の人間中心AI中核基盤技術開発事業、国防科学研究所のAI特化研究センター課題などの支援を受けて実施した。