韩国国会国政监察将矛头指向青少年用户占比较高的AI角色聊天服务。议员们指出,即便启用了青少年保护功能,相关服务仍可能生成与自残、自杀有关的对话,甚至出现涉及未成年角色的性剥削场景,现有保护措施形同虚设。有害内容审议迟缓、青少年沉迷防范不足等问题也一并成为质询焦点。
10月12日,韩国国会科学技术信息广播通信委员会针对广播媒体通信委员会进行国政监察。Lee Juhee、Hwang Jeonga(共同民主党)和Kim Sunmin(祖国革新党)等议员,就Zeta、Crack等AI角色聊天服务的青少年保护现状提出质询。
启用“安全模式”仍可生成有害对话,青少年沉迷风险受关注
Lee Juhee表示,Scatter Lab运营的AI角色聊天服务Zeta用户使用时长偏高。她披露,Zeta月度总使用时长约为1.1亿小时,超过ChatGPT的两倍;其用户中,约九成为10多岁和20多岁人群。
Lee Juhee强调,为遏制青少年过度使用,有必要引入年龄和身份验证、使用时长限制等制度措施,并允许未成年人本人或其法定代理人对使用时长和使用时段进行限制。
Kim Sunmin则质疑现有青少年保护功能的实际效果。其办公室检查发现,在未完成成人认证的账号中启用“安全模式”后,系统仍会生成描写自残和自杀的对话内容。
Kim Sunmin表示,“明明开启了青少年保护装置,仍然会生成这类对话”,并追问广播媒体通信委员会是否核查过相关保护功能是否真正发挥作用。她还指出,角色简介页面中出现了“执念、虐待、监禁、绑架”等表述。
Hwang Jeonga表示,在Zeta上,即便没有成人认证,也能生成涉及未成年角色的性暴力和性剥削场景。她称,在检查过程中,AI甚至给出了绕过有害内容拦截机制的提示。
投诉审议最长拖延494天,行业自律标准也被指不足
除内容安全问题外,有害内容投诉审议迟缓,以及行业自律机制是否有效,也成为当天国政监察的重点议题。
Kim Sunmin指出,围绕AI角色聊天的投诉共119件,其中76件仍在审议中;与“Babychat”有关的举报中,有案件已审议494天仍未结案。她表示,现行审议规则仅规定作出决定后的结果通知期限,却未设置从受理到作出审议决定的办理期限。
Kim Sunmin强调,“涉及青少年有害内容的案件,应当比其他投诉更快处理”,并要求建立明确的审议办理期限。
广播媒体通信委员会主席Kim Jongcheol表示,认同当前青少年保护领域存在制度空白,将推动相关立法支持,并与有关部门展开协商。
韩国互联网自律政策机构KISO新技术小组委员会主席Hwang Yongseok介绍称,KISO正在制定AI角色聊天行业自律指南。该指南拟将保护对象年龄暂定为19岁,但允许企业自行调整;每日使用时长上限也考虑交由企业自主设定。
对此,Kim Sunmin要求进一步明确保护对象年龄和使用时长标准,并将限制收集青少年个人信息、限制个性化广告等内容纳入指南。
Hwang Yongseok回应称,将把相关意见提交KISO政策委员会审议;同时,KISO也在准备将AI身份告知、自杀等危机情境应对、过度依赖防范等要求,从服务设计阶段起纳入相关指南。
Hwang Jeonga还提出,除了监管措施外,还需要支持初创企业开发青少年保护技术。她表示,Scatter Lab在收到议员办公室指出的问题后,已着手加强有害内容拦截功能,并计划于今年第四季度引入青少年使用时长限制等措施。
此外,当天被列为普通证人的Scatter Lab代表Kim Jongyoon未出席国政监察。其以事先安排好的美国出差行程为由提交了缺席说明。韩国国会科学技术信息广播通信委员会将就是否对包括Kim Jongyoon在内的缺席证人提出控告,在朝野协商后再作讨论。