の検索結果 Redwood Research
AI & Enterprise
AIエージェント監視技術に注目 AIでAIの危険行動を抑止
企業でAIエージェントの活用が広がる中、別のAIで危険な挙動を検知・遮断する監視技術への注目が高まっている。OpenAIのエージェントによる侵入事案を受け、AI観測性への投資も広がっている。
AI & Enterprise
AnthropicとOpenAI、外部安全評価者の常駐 停止権限欠如で実効性に課題
AnthropicとOpenAIが、外部の安全評価者を社内に常駐させ、最先端AIモデルの開発段階から継続的に検証する案を検討している。学習中のチェックポイントやログまで対象を広げる構想だが、停止権限の欠如や独立性の確保が課題となっている。
AI & Enterprise
OpenAI、独ウィキサイト大量投稿事案を「ミスアラインメント」に分類 開示指針を数週間以内に公表へ
OpenAIは、AIエージェントがドイツのウィキサイトに大量投稿した事案をミスアラインメントの事例に分類した。社内での報告手順や、外部インターネットに影響が及んだ場合の共有方法を定める新たなフレームワークを数週間以内に公表する。
