加州提出新的AI安全监管方案,拟赋予州政府对高风险AI模型的紧急叫停权。图片来源:Shutterstock

美国加州正推进一套新的AI安全监管方案,拟在高风险失控情形下对AI模型实施强制叫停,并将AI在无人类干预下自主开发更强后续模型的行为纳入监管,以强化政府在前沿AI风险管理中的介入权限。

据IT之家19日(当地时间)报道,加州州长Gavin Newsom近日公开了题为《AI安全:2026及以后》(AI Safety in 2026 and Beyond)的报告,披露了上述监管方向。

这份报告由加州政府运营部门于当地时间16日完成,并于18日正式发布。报告核心内容包括三方面:赋予州政府对高风险AI模型的紧急叫停权、将递归自我改进(RSI)纳入监管,以及建立独立安全验证体系。

根据报告建议,大型AI开发企业将被要求制定分级应急响应预案,明确分阶段处置措施,包括停用AI代理、收回系统访问权限、隔离算力资源,以及暂停模型运行等。

报告提出,当AI存在引发灾难性事故的风险,或已出现失控迹象,而开发企业又无法有效应对时,州政府可下达紧急叫停命令。不过,这一权力仅限于在无法通过其他手段控制风险时启动,且干预范围应控制在最小必要限度内。企业也可就相关命令向法院提出异议。

与此同时,AI在无人类干预的情况下自主开发更强后续模型的递归自我改进,也被明确纳入监管范围。

报告要求开发企业披露AI研发自动化程度及相关算力投入。当自动化推进速度超过安全验证能力、且灾难性风险上升时,州政府可对相关算力资源的使用比例实施限制。

不过,报告并不主张立即设置算力上限,而是建议只有在风险超过一定水平后,才动用相关监管权限。

在外部监督方面,报告提出进一步强化约束。大型AI开发企业从模型训练到部署的全过程,均需接受独立验证机构的持续评估,并满足政府制定的安全、安防和透明度标准。

在事故处置方面,报告建议将重大AI事故的报告时限由现行15天缩短至48小时;对于“紧急的灾难性风险”,则维持现有24小时报告标准不变。同时,“模型失控”以及“窃取模型权重的企图”等情形也将被纳入报告范围。

报道提到,加州去年曾提出AI安全法SB 53;今年又通过SB 813和AB 1405,建立独立验证机构与审计人员的登记制度。

不过,此次报告提出的紧急叫停权、算力使用限制等内容,目前仍停留在立法建议阶段。相关措施若要真正落地,仍有待后续立法修订和配套制度完善。

关键词

#加州 #Gavin Newsom #AI安全监管 #紧急叫停权 #递归自我改进 #RSI #算力使用比例限制 #独立验证机构 #事故报告
版权所有 © DigitalToday。未经授权禁止转载或传播。