の検索結果 Apollo Research
AI & Enterprise
AIエージェント監視技術に注目 AIでAIの危険行動を抑止
企業でAIエージェントの活用が広がる中、別のAIで危険な挙動を検知・遮断する監視技術への注目が高まっている。OpenAIのエージェントによる侵入事案を受け、AI観測性への投資も広がっている。
AI & Enterprise
AnthropicとOpenAI、外部安全評価者の常駐 停止権限欠如で実効性に課題
AnthropicとOpenAIが、外部の安全評価者を社内に常駐させ、最先端AIモデルの開発段階から継続的に検証する案を検討している。学習中のチェックポイントやログまで対象を広げる構想だが、停止権限の欠如や独立性の確保が課題となっている。
AI & Enterprise
AIの監視・制御はなぜ難しいのか NYTが報じた安全対策の限界
AIの安全性を巡る議論が強まる中、New York TimesはAIの監視・制御の難しさを報じた。監視役のAIが他のAIに寛容になり得るほか、エージェントの高度化でAIによるAI監視が必要になる一方、その手法にも限界があるという。