韩国政府表示，将研究引入AI“紧急停止”等由人类控制的干预机制，以防范人工智能出现失控风险。在应对外部网络威胁方面，政府还计划依托正在研发的网络安全AI模型，并结合拟推进的前沿AI项目，提升整体防护能力。

韩国副总理兼科学技术信息通信部部长 Bae Kyung-hoon 6日在国会科学技术信息广播通信委员会接受针对科学技术信息通信部的国政监查时表示，AI一旦被赋予特定任务，可能会持续自行寻找完成路径，因此有必要设置“紧急停止”等由人类掌控的控制装置。

当天，共同民主党议员 Kim Woo-young 提及AI安全研究机构围绕外部攻击开展的防御实验，强调建立AI控制技术的必要性。

Kim Woo-young 表示，AI安全研究机构针对提示注入攻击、内部存储信息篡改、记忆偏置等三类攻击进行了防御实验，过程中多次出现防御失效。其中，在记忆偏置攻击实验中，“攻击者意图一致率”达到91.9%。

对此，Bae Kyung-hoon 解释称，AI存在超出人类控制范围的可能。例如，当系统接到“分析某个网站”的任务后，可能会持续寻找解决路径，直至完成任务。

他还表示，因此更需要“紧急停止”等人类控制机制，并认同通过国际协作共同应对AI安全风险的必要性。

除加强AI自身控制机制外，韩国政府还计划以AI提升网络威胁应对能力。

Bae Kyung-hoon 表示，政府目前已在推进网络安全AI模型相关项目，同时也在筹备自身的AI网络安全应对能力建设；明年将动用相关预算，推动形成能够提升韩国网络安全防护水平的成果。

他补充称，拟推进的前沿AI项目也可纳入这一布局，政府正从多个层面推进综合性的AI安全准备工作。

会议期间，围绕AI安全与可信领域预算和人力不足的问题，也有议员提出质疑。

共同民主党议员 Lee Ju-hee 指出，AI性能和基础设施相关预算为6.149万亿韩元，而安全与可信相关预算仅为274亿韩元，两者投入差距约为224比1，存在结构性失衡。

她还表示，AI安全研究机构目前人员规模仅约38人，要求大幅增加相关预算和人力配置。

对此，Bae Kyung-hoon 回应称，随着AI性能快速提升，可信与安全问题愈发重要；扩大AI安全研究机构的人力与预算、补齐能力短板，已成为关键任务。

韩国政府计划于今年12月制定并发布《国家AI安全生态体系建设总体规划》。

根据介绍，该规划将包括三大策略，分别为建立国家AI安全管理体系、强化先进AI安全应对能力，以及打造面向公众日常生活的安全AI环境。

Bae Kyung-hoon 表示，韩国政府的目标不仅是跟上国际社会相关标准，更要具备引领能力，并据此建立更完善的AI安全应对体系。