SK Telecomは米マサチューセッツ工科大学（MIT）との共同研究を通じ、独自AIファウンデーションモデルの推論性能と計算効率を高める技術の開発を進めている。推論時に短時間の追加学習を行う「Test-Time Training（TTT）」を活用し、同じ計算資源でより高い性能を引き出す、あるいは必要な性能をより低コストで実現することを目指す。

同社は8月6日、ニュースルームでこうした研究内容を紹介した。研究成果は、最近公開した独自AIファウンデーションモデル「A.X K2」の推論性能向上にも活用できるとみている。

共同研究に参加するMIT電気電子工学・コンピュータ科学学科のキム・ユンヒョン教授は、同ニュースルームのインタビューで、ソブリンAIの競争力を左右する中核要素として、人材と大規模システムの運用経験を挙げた。

同教授は「計算資源は資金があれば調達でき、データセンターも建設できる。しかし、大規模システムを実際に運用した経験や能力は、一朝一夕には身に付かない」と説明。その上で、AIの性能は比較的単純なアルゴリズムを大規模に拡張する能力に大きく左右されるとして、大規模システムを扱える研究者やエンジニアの育成が重要だと強調した。

また、AIは国家安全保障の観点でも中核的な要素になりつつあるとして、各国が独自のAIエコシステムを構築しようとする流れは自然だと評価した。一方で、ソブリンAIを過度に「主権」の枠組みに閉じ込めれば、協力よりも過剰な競争を招く可能性があると指摘した。

SK TelecomとMITが進めるTTTの研究は、独自AIモデルの技術力と運用能力を同時に高める取り組みといえる。TTTは、公開済みのAIモデルが特定の問いに答える前に、関連資料を基に短時間の追加学習を行う技術だ。

一般的な言語モデルは、事前学習を終えた後は固定された状態で利用される。一方、TTTでは推論時に計算資源の一部を使ってモデルを追加的に適応させ、回答精度の向上を図る。

キム教授は、ここ数年のAIの進歩は主に事前学習規模の拡大によって進んできたが、最近では回答を生成する推論段階で追加の計算資源を投じても性能が向上することが確認されつつあると説明した。

その上で、「TTTは、推論段階の計算資源の一部を、モデルが目の前の特定の問題を解くために使えないかという発想から出発したものだ。推論時の計算資源を、実際の性能と能力の向上に活用するアプローチだ」と述べた。

研究では、AIエージェントが長い文脈を低コストで正確に理解することにも焦点を当てる。キム教授は、長文脈の理解能力を、膨大なテキストの中から必要な情報を見つけ出す「検索」と、文書全体の論理関係を一貫して把握する「統合」に分けて説明した。

現在のAIモデルは、長文書から関連情報を探し出す検索は比較的得意だが、文書の前後関係の矛盾を見つけるといった、全体を統合的に理解する能力はなお不十分だという。

同教授は「理論上100万トークンを処理できるモデルでも、統合という観点では長文脈を十分に理解できていない可能性がある」とした上で、「実用的に有用なAIエージェントを開発するには、長文脈を深く理解できるシステムの構築が必要だ」と強調した。

最近の研究では、推論段階で計算量を増やすことで、数学問題の解法のような推論領域でLLMの性能を継続的に高められることが確認されている。TTTを適用すれば、同じ推論計算資源でもより高い性能を得られ、必要な性能をより低コストで実現できるという。

キム教授は「今回の共同研究で開発するTTT技術は、SK Telecomの独自AIファウンデーションモデルにおける推論計算資源当たりの性能を高め、効率を大幅に改善できる」と述べた。

さらに、「AIの飛躍的な進歩には、新たな可能性を探る学界と、技術を実用化する企業の力が結び付く必要がある。SK TelecomとMITのパートナーシップは、その好例になり得る」と語った。

韓国の独自AIファウンデーションモデル事業については、新しいアイデアの有無よりも、まずはグローバル先行モデルとの性能差をどこまで縮めたかに注目すべきだと助言した。

同教授は「第2次評価では、グローバルモデル開発企業が実際に用いている中核ベンチマークを基準に、格差がどこまで縮まったかをより重視するのが望ましい」と指摘。「既存のフロンティアモデルとの差を縮めることは、既知の技術や開発手法を大規模環境で適切に実行できることを意味する」と述べた。