Microsoftは、エージェント向け強化学習フレームワーク「Agent Lightning v1.0」をGitHubで公開した。実運用で使うハーネスを中心に学習を進める設計が特徴で、同社はSWE-bench Verifiedのスコアが41.8%から56.4%に改善したとしている。

The New Stackによると、Agent Lightning v1.0の要点は、学習エンジン自体が文脈の組み立てやツール実行、エージェントと環境の相互作用全体を抱え込まない点にある。こうした役割はプロダクションハーネスが担い、学習側はそのやり取りを基に最適化を進める。

学習エンジンが観測するのは、ハーネスとの間でやり取りされたLLMの入出力ログだ。これにより開発者は、エージェントがツールを使って環境と相互作用する仕組みを、学習システム側に個別実装する必要がない。

Microsoftは、比較的少ない計算資源と6000件の学習データを用いて、Qwen3.5-9Bモデルを強化学習した。その結果、SWE-bench Verifiedのスコアは41.8%から56.4%へ、14.6ポイント改善したとしている。

従来の手法では、学習エンジンが相互作用ループ全体を担うため、再トークン化やサンプルの結合、アドバンテージ計算、損失の正規化、学習バックエンドのスケジューリングなどで課題があったという。

Microsoftは、こうした課題への対応策として、コーディングエージェント向けのデータ精製パイプラインと再現可能な学習スクリプトも提供する。フレームワークの中核部分は約3500行のPythonコードで構成され、MIT Licenseで公開した。

ネブラスカ州のソフトウェア工学研究者、ラシド・ハサン氏は「実際のプロダクションハーネスで学習すれば、学習とサービングの不一致を抑えられる」と述べた。さらに「ツールのプロトコルやコンテキストポリシー、復旧動作をそのまま維持できるため、学習成果を実運用につなげやすい」と指摘した。

コロラド州のデータサイエンティスト、プリヤンク・ジェイン氏は、今回のアプローチについて、機械学習で古くからある高コストな課題の一つである学習と実運用のギャップを縮める試みだと評価した。「学習したものが、そのまま本番投入したものになることが真の成果だ」と述べる一方、報酬設計を十分に理解しないまま強化学習を試すケースが増える可能性には懸念を示した。

Tooldexの創業者、リア・バネリジ氏は、コード規模が小さく、インフラエンジニアが直接読んで信頼性を判断しやすい点を評価した。一方で、現時点ではGPUやKubernetesクラスターを保有するプラットフォームチームに利用が限られる可能性があるとの見方も示した。ハーネスを変更するたびに、その特性がモデルの重みに反映されるため、ハーネス自体のバージョン管理も必要だと指摘している。