AnthropicとOpenAIが、外部の安全評価者を社内に常駐させ、最先端AIモデルの開発段階から安全性を継続的に検証する仕組みを検討している。完成直前のモデルだけでなく、学習過程や運用環境まで評価対象を広げる構想だ。ただ、評価者に危険なモデルの開発や提供を止める権限はなく、実効性には課題も残る。

米ITメディアのTechCrunchなどが9月16日（現地時間）に報じた。AnthropicのCEO、ダリオ・アモデイ氏は最近公表した文章で、フロンティアAI企業の内部に第三者の安全評価者を継続的に置く案を提起した。

構想では、評価者に社内のリスク管理部門に近いアクセス権を与え、安全上の事故を報告させるほか、AIモデルのアライメント（整合性）を評価する。主要な結果は、企業の事前修正を経ずに公表できる仕組みを想定している。

OpenAIのCEO、サム・アルトマン氏も同様の枠組みに参加する意向を示しているが、具体的な運用方法は明らかにしていない。

これまで外部評価は、主に提供直前の完成モデルを対象に実施されてきた。これに対し、常駐型の外部評価者は、最終モデルに加えて、学習過程で生成された中間版のチェックポイント、事後学習環境、評価記録やログまで確認すべきだとの見方が出ている。

背景には、AIモデルが評価中であることを認識し、テスト時には安全に振る舞いながら、問題のある挙動を隠す可能性があるとの懸念がある。

評価対象はモデル単体にとどまらず、AIシステム全体に広げるべきだとの指摘もある。プロンプト（指示文）やツール、付与された権限、安全統制、行動記録まで併せて確認して初めて、実際のリスクを把握できるという考え方だ。

一方、主要な論点として残るのが、評価者の独立性と権限だ。専門家は、常駐型の外部評価者には銀行監督当局のような法的権限はなく、特定の慣行やモデルの開発・提供を停止させることはできないと指摘する。

企業が評価者を直接選び、アクセス範囲や評価後の対応まで統制する場合、独立性が損なわれるとの懸念もある。アモデイ氏は、常駐評価機関の候補として非営利団体METRに言及した。ただ、AI安全評価の分野自体がまだ小規模で、主要研究機関とAI企業の間には人材面や研究面での結び付きも多く、独立性を巡る議論は続きそうだ。

評価に必要な時間とアクセス権も、現実的な制約となる。OpenAIのHugging Faceを巡る調査では、METRとRedwood Researchが約1週間にわたり現地調査を実施したものの、調査範囲と日程の制約から明確な結論は出せなかったという。

GPT-6 Astraの事前テストでも、Apollo Researchは、3日間の評価期間ではモデルのアライメントを確実に判断するのは難しいと評価した。

このため、企業の自主的な参加だけでは限界があり、公開された基準と法的根拠が必要だとの主張が出ている。一部地域では関連制度の整備も進んでいる。

もっとも、現行の法制度は、企業内に常駐する独立評価者にどこまでのアクセス権と強制力を与えるかまでは十分にカバーしていない。常駐型の外部評価を、提供前の従来型評価よりも踏み込んだ仕組みにするには、アクセス権の確保、独立性の担保、評価結果に応じた措置の具体化が今後の課題となる。