AI开发公司Thinking Machines Lab于本月20日(当地时间)发布轻量级模型“Inkling 2 Mini”。该模型采用开放权重形式,用户可直接下载模型权重,并可在笔记本电脑上本地运行。
从架构来看,Inkling 2 Mini采用混合专家(MoE)架构,总参数量为264亿,激活参数为34亿,内存占用约20GB。
Thinking Machines Lab介绍称,Inkling 2 Mini基于“循环 Transformer(looped transformer)”结构,可在更少的token消耗下完成推理。这一特性在对推理质量要求较高的AI代理编程任务中尤为明显。
性能方面,在总参数量低于1000亿的开放权重模型中,Inkling 2 Mini在DeepSWE v1.1代码评测中以48.2%的成绩位列第一,推理速度也快于部分同级别模型。
研究团队还表示,曾在飞机上无网络连接的环境下,使用MacBook Pro运行该模型,并在几分钟内完成一款飞行模拟游戏的开发。
在斯坦福大学研究团队的测量中,Inkling 2 Mini也展现出较高效率。其在NVIDIA DGX Spark上的能效评分为0.703,而Qwen 3.6-35B-A3B为0.430。
不过,Inkling 2 Mini也存在一定局限。Thinking Machines Lab表示,循环式结构有助于提升推理能力,但在知识容量扩展方面存在不足,因此需要通过更高效地调用搜索和工具能力进行弥补。与此同时,在多轮对话和条件较为复杂的指令执行任务中,Inkling 2 Mini落后于Qwen 3.8-27B。
目前,Inkling 2 Mini已可通过Tinker和Hugging Face使用;在配备32GB及以上内存的Mac设备上,用户还可通过免费程序Ollama直接下载并在本地运行该模型。