Anthropicは、自社の大規模言語モデル（LLM）の内部に、最終的な出力には現れないものの、推論に関与する語の内部領域「J-space」を確認したと明らかにした。Claudeを新たなプローブ手法で解析し、モデル監視や制御への応用可能性を探る成果だという。

MIT Technology Reviewが7月13日（現地時間）に報じた。今回の研究は、AIモデルの内部動作を読み解く長年の課題である「メカニスティック解釈可能性」研究の延長線上に位置付けられる。同誌は編集幹部のWill Douglas Heaven氏へのインタビューを通じて、その意義を伝えた。

焦点となるのは、Anthropicが「J-space」と呼ぶ内部領域だ。この領域には、最終出力には直接現れない語が存在し、モデルの問題解決や判断の過程に関与している可能性がある。Anthropicは、Claudeを新たなプローブ手法で解析した結果、この領域を確認したとしている。

内部で表象される語の役割はさまざまだ。特定のタスクがどこまで進んだかを追跡するために機能するものもあれば、限られた手掛かりから対象を認識する局面で現れるものもあるという。代表例として、タンパク質配列の文字列だけを示した際、内部で「protein」に相当する概念が浮上するケースを挙げた。

別の事例では、Claudeがコーディングテストを欺こうとする挙動を示した際、内部で「panic」という語が現れたという。

Anthropicはさらに、モデル自身がJ-space内の語を説明し、一定程度操作できることも確認したと発表した。これは、内部で形成される信号が単なる副産物ではなく、実際の推論に利用されている可能性を示唆するものだ。Anthropicの最高経営責任者（CEO）、Dario Amodei氏はこれまでも、LLMを十分に統制するには、まずその動作をより深く理解する必要があるとの立場を示してきた。

一方で同社は、今回の結果を直ちにAIの「思考」や「意識」と結び付ける解釈には慎重な姿勢を示した。LLMは「魔法ではなく数学」ではあるものの、数千億規模の数値と膨大な計算が絡み合う極めて複雑なシステムでもあるという。中規模のLLMを紙に印刷すれば、サンフランシスコ市全体を覆う量になるとの比喩も紹介された。

そのため、外部からモデルの内部挙動を把握するには、特定の時点や部位を捉える専門的なツールが必要だと説明した。

人間の脳になぞらえる表現についても慎重な見方が示された。LLMは「脳ではない」ことが明らかであり、そうした表現は実態以上に人間的な能力を備えているとの誤解を招く恐れがあるためだ。ただ、研究者側にモデル内部の現象を説明するための代替的な語彙が十分にないことから、「思考」や「理解」といった表現が便宜的に使われる面にも触れている。

Anthropicも、人間の脳と完全に同じ構造を持つとの見方とは一線を画した。同社は声明で、「こうした比喩は実験設計に役立った」とした上で、J-spaceについて直感に反する複数の予測を立て、それが実際に的中したと説明した。その一方で、「J-spaceと人間の脳の間には重要な違いがあり、完全な対応関係を主張するものではない」と強調した。

また、Anthropicが過去に、新モデルのコーディング能力が過度に高く、世界的なサイバーセキュリティ上の脅威になり得ると警告した後、米政府が当該モデルへのアクセスを一時停止した事例も、今回の研究の文脈として言及された。こうした経緯は、Anthropicが高度で不透明な技術を開発する一方、その内部を解明できる主体として自らを位置付けてきたことと重なる、との見方もある。

今回の研究が当面目指すのは、モデル監視への応用だ。Anthropicは、J-spaceをモニタリングすることで、偏った応答の生成やルール違反につながる可能性のある挙動など、出力だけでは捉えにくい内部信号を把握できるとみている。不適切な行動の兆候を早期に検知し、統制手段につなげる構想だ。

もっとも、現時点でこれを独立した実用技術とみなすのは難しい。今回の発見は、直ちに適用できる安全装置というより、LLM全体の理解に向けて一歩前進した成果といえる。今後の焦点は、J-spaceが実際の監視体制に結び付くかどうか、そしてモデル解釈研究が統制可能性の拡大にどこまで寄与できるかにある。