KAISTは15日、キム・チャンイク氏が率いる研究チームが、大規模言語モデル（LLM）のファインチューニング時に安全性が損なわれる問題に対応する学習フレームワーク「Buffer-and-Reinforce」を開発したと発表した。企業や個人のデータでAIをカスタマイズしながら、性能を維持したまま安全性も確保できるという。

ファインチューニングは、既存のAIモデルに新たな知識や業務能力を追加学習させる工程を指す。企業が社内文書や業務データを活用して独自のAIアシスタントを構築するケースなどで広く想定される。

一方で、従来のファインチューニングでは、業務特化の性能が向上する半面、危険な要求を拒否する安全機能まで弱まることが課題となっていた。

研究チームは、危険な要求にも応答するようになった脱獄状態のAIに着目した。既存研究では、この状態のAIをカスタム学習しても安全性が大きく損なわれにくいことが示されていたという。そこで研究チームは、こうした状態を実運用に持ち込むのではなく、学習過程に限って緩衝モジュール「BufferLoRA」を一時的に適用し、学習後に取り外す方式を考案した。

分析の結果、脱獄状態のAIは有害データの影響を受けにくい一方で、利用者が求める新たな業務能力は効率よく学習できることが分かったとしている。

これを基に、研究チームは「緩衝」と「安全性強化」から成る2段階の学習手法を設計した。第1段階では、BufferLoRAを一時的に適用し、カスタム学習中に悪性データが本体モデルへ直接影響するのを防ぐ。学習完了後、このモジュールは取り外す。

続く第2段階では、安全性強化モジュール「ReinforceLoRA」を適用して安全性を引き上げる。この過程では、異なる情報を分離し、必要な情報だけを選択的に反映するために、QR分解（QR Decomposition）を用いた。

同手法により、新たに学習させた機能を維持しつつ、安全性だけを選択的に強化できたとしている。

実験では、ユーザーデータが危険な質問と回答のみで構成される極端な環境でも、高い安全性を維持した。ファインチューニング後に危険な応答を生成した割合は約8%で、再学習していない既存モデルの約18%を下回った。

研究チームは、追加の安全性学習や計算コストの上積みなしに、カスタム性能と安全性を同時に確保できたと説明している。

キム・チャンイク氏は「誰もが自分のデータを使ってカスタムAIを自由に構築し、より安全に活用するための中核技術になる」とした上で、「AIの個人化やAIエージェントの時代に、信頼できるAIサービス環境の構築に寄与することを期待している」と述べた。

今回の研究には、KAIST電気電子工学部博士課程のハム・ソギル氏が第1著者として参加した。論文は国際機械学習学会「ICML 2026」で、全投稿論文の上位約2.2%に与えられるスポットライト論文に選ばれた。