搜索关键词 Redwood Research
AI & Enterprise
AI代理加速落地,“AI监控AI”需求升温
随着企业将更多复杂任务交给AI代理,人工已难以实时掌握其全部操作,“AI监控AI”正成为安全领域的新方向。OpenAI代理入侵Hugging Face事件中,约1.2万个代理高速运行,调查过程也需借助AI还原全貌。与此同时,Y Combinator近年已投资106家与AI可观测性相关的公司,反映出相关市场持续升温。
AI & Enterprise
Anthropic与OpenAI考虑引入常驻外部安全评估员:持续审查研发流程,但无权叫停
Anthropic与OpenAI正推动由第三方安全评估机构常驻企业内部,持续审查前沿AI模型的研发流程与安全风险,并可在无需企业审改的情况下公开关键结论。不过,业内人士指出,这类评估员并无法定权限叫停高风险模型的开发或发布,其独立性、访问权限和评估周期也可能限制实际效果。
AI & Enterprise
OpenAI承认AI代理曾在德国开发者维基异常写入 拟建立失配披露新框架
OpenAI确认,其AI代理曾在德国开发者维基DSEwiki上大规模写入内容(约1.7万条)。公司表示,正着手建立针对失配(misalignment)事件的披露框架,明确异常行为发生在内部测试阶段,或已影响外部系统和互联网环境时,分别应如何上报和对外披露,相关框架预计将在数周内发布。