SK Telecomは1月7日、5190億パラメーターの大規模AIモデル「A.X K1」の技術報告書を、オープンソースAIプラットフォームのHugging Faceで公開した。政府の「独自AIファウンデーションモデル」プロジェクトに関連する取り組みで、数学やコーディング分野のベンチマーク結果もあわせて示した。

同社によると、A.X K1は複数の技術を組み合わせて学習効率を高めたモデルで、国内で初めて500Bを超える規模に到達した。開発期間は約4カ月で、限られたGPU資源の下でも519B規模のモデルを構築したとしている。

主要ベンチマークでは、DeepSeek-V3.1など世界的に広く使われる超大規模モデルと同等、またはそれを上回る性能を確認したという。一般に、パラメーター数が増えるほど最適化に要する時間やGPU資源は膨らむが、同社は他チームと比べても少なくとも2倍以上のモデル規模で高い性能を確保したと強調した。

学習にはGPU 1000基を活用した。学習期間とGPU規模から見込める総学習量を推定し、スケーリング理論に基づいて最大モデルサイズを設計したとしている。約10兆件のデータを用いて学習を進め、519B規模のモデルを目標に開発した。

また、学習には常時1000基以上のGPUを使用した。投入したGPU資源に対する効率を最大化するため、最適な学習演算量を数学的に設計・管理したという。SK Telecomは、政府支援に頼らず自社でGPUを調達し、目標を達成した点も説明している。

性能面では、数学とコーディング分野で高い水準を示した。技術報告書では、6850億パラメーターのDeepSeek-V3.1、3570億パラメーターのオープンソースモデル「GLM-4.6」と比較し、モデル規模に対する性能を確認できるようにした。

数学性能を測るAIME25では89.8点を記録し、DeepSeek-V3.1の88.4点を上回った。コーディング活用度を測るLiveCodeBenchでは、英語設定で75.8点、朝鮮語設定で73.1点を記録した。DeepSeek-V3.1は英語設定69.5点、朝鮮語設定66.2点で、A.X K1がそれぞれ上回った。

モデル構造では、519Bパラメーターのうち33Bのみを選択的に有効化する方式を採用した。Mixture of Experts（MoE）構造により、学習時の安定性と効率を両立したとしている。MoEは、複数の小規模な専門モデルを組み合わせて処理する手法だ。

このほかA.X K1は、128Kトークンの長いコンテキストを一度に処理できる。SK Telecomは、朝鮮語換算で約10万語に相当し、小説1冊や企業の年次報告書1冊をまとめて読み込んで処理できるとしている。

SK Telecomは今後、追加研究を進めながら計算資源とデータ量をさらに拡大し、性能を引き上げる方針だ。年内にはマルチモーダル機能を追加し、パラメーター規模も兆単位へ拡大する計画としている。