图片来源:Reve AI

在参数规模不断逼近10万亿的超大模型之外,围绕轻量化、本地化模型的竞争正在快速升温。

随着AI投入持续攀升,越来越多企业开始在基础任务中采用性价比更高的开源模型。与此同时,可在个人PC本地运行的大模型关注度也明显上升。

瞄准这一方向的头部厂商正加快布局。中国的DeepSeek、美国的Meta近期相继发布或预告可安装在个人PC端、兼顾性能与本地部署需求的新模型,NVIDIA也在持续扩充面向本地环境的AI模型产品线。

DeepSeek于7月底发布面向编程场景的新模型V4 Flash,参数规模为3040亿。与其旗舰模型V4 Pro(DeepSeek-V4-Pro)预览版约1.6万亿参数相比,V4 Flash体量更小,但凭借接近超大模型的表现吸引了开发者关注。

据相关报道,V4 Flash在仅进行最小限度微调的情况下,表现明显领先V4 Pro预览版,并接近Claude Opus 4.8。在复杂编码和自主软件任务测试中,其成绩与Anthropic的Claude Opus 4.8相当;在Arena编码排行榜上,V4 Flash还超过了Opus 4.8。

从价格来看,V4 Flash的冲击力更为突出。报道称,Opus 4.8的输出价格标示为每分钟25美元(按报道口径),而DeepSeek给出的V4 Flash API价格为28美分,便宜约99%。

开发者社区还在关注V4 Flash能否运行在消费级硬件上。通常,先进AI模型往往需要配备数百GB GPU显存的服务器,但多方评价认为,V4 Flash在高配个人PC上也具备运行条件。Redis数据库系统创始人、以antirez为笔名知名的开发者Salvatore Sanfilippo表示,他正在评估是否将小型计算机上的GLM 5.2替换为V4 Flash。

Meta则押注更普及的本地AI路线。该公司计划推出可在笔记本电脑上运行的新模型家族“Muse Glimmer”。

Muse Glimmer为300亿参数模型,权重将以Apache 2.0许可证分发,开发者可下载并进行修改。该模型面向多步骤任务的AI代理设计,支持文本和图像,训练覆盖100多种语言。按照Meta的介绍,借助单张消费级GPU,Muse Glimmer即可在Mac或PC上完成工具调用、代码编写与调试,以及文件、截图处理和长时间工作流执行等任务。

在目标市场方面,Meta更强调隐私保护。Meta表示,Muse Glimmer将尽可能把信息处理留在用户设备端,而不是上传至云端,从而为更注重隐私的个人AI代理打下基础。其设想的应用场景包括日程管理、消息草拟、文件整理等需要访问个人数据的任务。

Meta CEO Mark Zuckerberg表示:“个人代理将24小时为用户提供帮助,覆盖人际关系、健康、职业、财务、家庭管理、兴趣等领域,所有人都将以免费或可负担的成本获得这些工具。”

不过,Muse Glimmer在个人PC端落地仍有门槛。该模型至少需要配备24GB显存(VRAM)的GPU,企业若要大规模部署并不轻松。Computerworld援引分析师和顾问观点称,尽管企业对本地运行兴趣浓厚,但从云端转向本地部署是否具备成本效益仍是更复杂的问题。未来12至18个月内,内存价格和云服务价格的走势仍难预测,这将成为关键变量。

NVIDIA也已公开开源AI模型“Nemotron 3.5 Lightning”,企业无需额外许可或付费即可下载、使用并修改。该模型主打轻量化,个人PC端GPU同样可以运行。

Nemotron 3.5 Lightning采用300亿参数的专家混合(MoE)架构,主要面向可在后台自主运行的AI代理开发,并已在Hugging Face和NVIDIA官网提供下载。企业可在自有硬件上使用NVIDIA NeMo,结合内部领域数据、工具和工作流开展后续训练。

关键词

#本地运行 #开源模型 #DeepSeek #V4 Flash #Meta #Muse Glimmer #NVIDIA #Nemotron 3.5 Lightning #AI代理 #GPU
版权所有 © DigitalToday。未经授权禁止转载或传播。