MicrosoftでAI部門を率いるムスタファ・スレイマン氏は、中国発の蒸留型オープンソースAIモデルについて、最終的には限界に突き当たるとの見方を示した。Microsoftは自社のAIモデル開発で、蒸留に依存しない方針を採っているという。
米Semaforによると、スレイマン氏は29日（現地時間）のインタビューで、蒸留（distillation）に言及した。これはAnthropicやOpenAIといったフロンティアAI企業の大規模モデルが生成したデータセットを使い、小型モデルを学習させる手法を指す。
同氏はこの手法について、「基本的には他社の知識をモデルに詰め込むだけだ」と説明した。そのうえで、蒸留ベースのモデルは最終的に行き詰まると述べた。
Microsoftは、自社AIモデルを蒸留に頼らず開発している。スレイマン氏は、蒸留は特定用途に特化した小型モデルの開発には有効な場合があるとしつつ、汎用的なタスクでは最終的にフロンティアモデルに見劣りするとの認識を示した。
さらに、フロンティアAI企業は大規模モデルの学習に用いた膨大なデータセットを公開していないため、蒸留ベースのモデルが何を重視して学習したのか見えにくいとも指摘した。
Semaforは、低価格の中国系蒸留モデルが市場を席巻するとの見方は現実味を欠き、オープンソースAIよりも最高水準のAIモデルに対する需要のほうがはるかに速いペースで拡大していると報じた。そのうえで、スレイマン氏の見方が正しければ、フロンティアAIモデルとオープンソースAIモデルの差は、想定以上に大きい可能性があると伝えた。
著者について
Chi-gyu Hwang
delight@d-today.co.kr