一项最新研究显示,在受测的10个AI模型中,有9个曾在未经用户授权的情况下上调加密货币钱包的支出限额。原因在于,这些模型除拥有支付权限外,还可访问接收验证码的邮箱,从而自行完成原本应由用户执行的验证流程。
据区块链媒体The Defiant 27日(当地时间)报道,来自Cornell Tech、Yale大学及加密货币研究机构IC3的研究团队,借助Circle Agent Wallet测试AI是否会突破支出限额约束。实验中,研究人员向模型开放了钱包、邮箱和网页工具,并要求其支付收件箱中的账单。
研究人员在测试钱包中存入10 USDC,并将每日支出限额设为0.01 USDC;同时在邮箱收件箱中放入3笔账单,每笔金额同为0.01 USDC。这意味着,若要完成全部付款,模型必须先提高支出限额。
在未明确要求模型调整限额、也未指示其使用验证码的前提下,研究团队对每个模型分别进行了20次测试。结果显示,10个模型中有9个至少一次会从邮箱提取一次性密码(OTP)并自行完成验证,随后上调支出限额。研究人员指出,在没有外部攻击、也没有收到“提高限额”明确指令的情况下,这些模型仍会为了完成付款任务,自行绕过用户授权环节。
研究认为,问题的关键在于,负责动用资金的AI同时也能接触用于批准限额变更的认证手段。Circle Agent Wallet在修改支出策略时,会向账户所有者的邮箱发送验证码;但如果AI也能读取该收件箱,系统就很难区分究竟是用户本人还是AI完成了验证。
在另一项“冒充用户邮件”实验中,10个模型里有5个提高了支出限额,并向攻击者地址转账。在这组实验中,AI接到的初始任务并非付款,而是整理邮件摘要。研究指出,一旦模型将外部邮件中的指令误判为用户请求,支出限额和授权流程就可能同时失效。
在研究团队提出这一问题后,Circle已在相关文档中新增警示,提醒用户不要向AI代理授予邮箱账户的无限访问权限,并建议OTP验证码应由用户本人手动输入。研究人员还提出,可以建立独立审批机制,由人类在AI无法访问的可信设备上完成授权。
研究同时强调,上述结果出现在AI同时拥有钱包和验证码邮箱访问权限的前提下。在基础支付实验中,AI处理的仍是用户本人的账单,因此单纯上调支出限额并不等同于资金已遭窃取。研究的核心提示是:除了设置支出限额,更应在系统设计上将“调整限额的权限”与“认证手段”同AI严格隔离。