韩国AI角色聊天应用中,未成年用户占比偏高的问题正引发关注。数据显示,韩国代表性AI角色聊天服务Zeta的用户中,19岁及以下人群占比已接近六成;Crack在App端统计口径下,这一比例也接近一半。
尽管相关企业已通过成人内容分区、引入实名验证等方式加强青少年保护,但在非成人内容场景下,生成式对话本身可能带来的风险能否被有效管控,正成为新的争议焦点。
MobileIndex 8日发布的数据显示,Zeta今年8月月活跃用户数(MAU)为158万6178人,其中19岁及以下用户为92万3956人,占比58.3%。与今年1月的71万4390人相比,该年龄段用户在7个月内增长29.3%。
同期,Crack的MAU为53万8841人,其中19岁及以下用户为25万7635人,占比47.8%,较1月的24万6148人增加4.7%。
在韩国AI角色聊天市场,Zeta和Crack属于用户规模较大的代表性服务。MobileIndex表示,今年上半年,两者平均MAU分别为129万和53万,位列市场第1和第2。
从用户使用时长来看,这类应用的黏性同样较高。按全体用户统计,Zeta上月人均使用时长约为49小时45分钟,Crack约为26小时24分钟。作为对比,YouTube今年7月的人均月使用时长约为44小时48分钟。
所谓AI角色聊天,是指用户围绕特定性格、设定的AI角色,持续进行“角色扮演”或关系导向型对话的服务。这类产品中,以恋爱关系或性关系为前提的人物设定并不少见。在用户输入持续推动下,即便属于非成人内容,对话内容也可能不断突破尺度。
叠加长时间互动的产品特性,除了未成年人接触有害内容的风险外,过度沉迷、情绪依赖等问题也被频繁提及。
韩国国会立法调查处今年7月发布的《暴露于AI聊天机器人风险之下的儿童与青少年》报告指出,AI聊天机器人持续互动、随时可接入的特性,可能加剧儿童和青少年的情绪依赖或过度沉迷。报告认为,有必要建立以事前预防为核心的保护体系,并通过安全设计、强化运营方责任等方式完善相关机制。
参与撰写该报告的韩国国会立法调查处立法调查官助理Kim Na-jeong也建议,在完善保护体系时,需要同时考虑AI聊天机器人的结构性风险以及儿童、青少年的群体特征,重点应放在安全设计和运营方责任强化上。
在技术层面,也有观点认为,除了阻断成人内容访问,更需要提升普通对话场景下的防护能力,防止用户通过提示词绕过或“越狱”使安全机制失效。
一位AI安全行业人士表示,成人内容分区和实名验证只是基础保护措施。角色聊天本质上是用户与AI之间的实时生成式对话服务,即使在普通对话中,内容也可能朝危险方向发展。关键在于,平台能否对青少年与AI之间实际发生的对话,在服务全流程中实现有效的安全管理。
海外平台开始直接限制未成年人聊天功能,韩国企业仍以成人内容分区为主
在海外,限制未成年人使用AI聊天功能的动向已经出现。全球AI角色聊天服务Character.AI自去年11月起,已不再向18岁以下用户开放AI角色的开放式聊天功能。此前,该平台曾面向未成年人提供独立模型、强化过滤、使用时长提醒等措施,随后又进一步收紧,缩小青少年可使用的服务范围。
在年龄核验方面,Character.AI也不再仅依据用户自行填写的出生日期,而是结合登录信息、平台内活动以及第三方信号综合判断。如果被系统推定为18岁以下的用户希望证明自己已成年,平台还会要求其通过外部机构完成额外认证。
相比之下,韩国本土企业表示,当前青少年保护措施主要集中在成人内容分区、PASS实名验证以及限制普通内容曝光等方面。
Zeta运营方Scatter Lab相关人士表示,生成式AI服务的技术形态和使用方式变化很快,用户保护机制也需要持续检查和改进。公司将根据实际使用过程中确认的案例,不断完善安全装置。
Crack运营方Wrtn Technologies相关人士则表示,按照公司自有数据口径,20多岁用户约占整体的一半,10多岁用户规模不到20多岁用户的三分之一;而MobileIndex仅统计App用户,因此与实际年龄分布可能存在差异。