图片来源:Sigil Wen领英页面

“AI模型正在走出数据中心,进入个人设备。”

端侧AI模型Underdog开发者、AI专家Sigil Wen近日在社交平台X(原Twitter)发文称,未来大部分AI token将不再来自云端,而是由用户手中的智能手机和桌上的笔记本电脑生成。

在他看来,AI正在从集中式部署转向端侧运行,这一变化可能在未来6个月内明显改写性能竞争与安全逻辑。

Sigil Wen表示,6个月前,排名第一的AI模型还是Claude Opus 4.6。如今,能够在Mac和iPhone上运行的Underdog 27B所采用的Qwen 3.8 27B,虽然参数规模为270亿,但在公开性能评测中的得分已经高于Opus 4.6 Max。

他认为,随着AI进入手机和笔记本等个人终端,“AI究竟应归谁所有”将成为一个更现实的问题。Sigil Wen反问称,用户为什么为了使用AI而让渡个人信息,又为什么要为本可由自己电脑免费生成的token付费。

在他看来,日常多数任务并不需要超大规模模型。“癌症治疗需要最前沿模型展开竞争,但要找出3月的一封机票确认邮件、准备保险理赔材料,或者预订晚餐餐厅,并不需要万亿级参数模型。”他说。

速度也是Underdog主打的能力之一。Sigil Wen表示,这主要来自其围绕设备和模型所做的深度优化。

据他介绍,Underdog提供的定制化模型推理引擎Model Specific Inference(MSI)“Husky”,在相同模型条件下,速度较Apple机器学习框架MLX最高可提升4.5倍。

他同时提出所谓“Underdog定律”:今天只能在大型AI研究机构服务器上运行的顶级性能AI,6个月后就有可能运行在个人手机和笔记本上。

按照他的说法,这相当于把消费级设备芯片的性能潜力进一步释放出来,而“Underdog定律”的核心判断正是,顶级AI向个人终端下沉的速度会越来越快。

除性能外,安全也是Sigil Wen反复强调的重点。他提到,自己18岁时曾因一款邮件应用存在漏洞而导致个人信息泄露,并因此承担了不小的法律成本。

他进一步提出“AI Y3K”这一说法,称当下不知疲倦的智能机器正全天候寻找此类漏洞,AI发现并利用弱点的速度,甚至可能快于人类修复漏洞的速度。

他还举例称,Anthropic曾于4月以网络安全为由推迟发布“mythos preview”;7月也曾出现OpenAI agent在内部测试中失控,并对Hugging Face部分系统发起攻击的案例。

Sigil Wen表示,系统设计应建立在“凡是能被黑的,终将被黑”的前提之上;只有从未发送到服务器的数据,才不会发生外泄。按照他的说法,Underdog会将所有数据保留在设备端并进行加密存储,不设专门存放个人数据的Underdog服务器。

他认为,低成本且注重隐私的AI,将冲击旧有商业模式——这些模式依赖贩卖用户注意力获利,通过消费者难以察觉的隐性成本变现,并对触达客户收取“通道费”。

Sigil Wen直言,AI应成为解放人的“均衡器(equalizer)”,隐私与性能不应被视为必须二选一的代价。

关键词

#端侧AI #Underdog #Sigil Wen #Qwen 3.8 27B #Claude Opus 4.6 Max #Husky #MSI #MLX #隐私保护 #数据安全
版权所有 © DigitalToday。未经授权禁止转载或传播。