4款模型生成的3D鲁比克方块效果对比。图片来源:TryAI

在TryAI针对4款AI编程模型开展的一项横向测试中,Grok 4.5在速度和成本两项指标上表现最为突出。

据外媒Gigazine当地时间9日报道,TryAI此次选取Grok 4.5、GPT-5.5、Claude Opus 4.8和Claude Fable 5,在完全相同的提示词条件下,分别完成一次应用生成,并对成品质量、延迟和成本进行对比。

按照测试要求,各模型不得调用外部库或网络资源,需直接生成可运行的单个独立HTML文件应用。TryAI未对提示词进行二次补充,也未追加修正指令,而是将生成结果直接放入真实浏览器中运行并记录表现。

测试任务包括3D鲁比克方块、粒子重力沙盒和打砖块游戏。其中,难度最高的3D鲁比克方块任务对模型的空间构建和交互实现能力要求最高。Claude Opus 4.8与Claude Fable 5均在首次生成时即满足要求,完成了带旋转动画、自动打乱和自动复原功能的3D鲁比克方块;Grok 4.5首次生成未能正确渲染方块,第二次尝试后才输出结果;GPT-5.5则生成了平面图形,而非立体方块。

在粒子重力沙盒任务中,4款模型均生成了可正常运行的结果,TryAI认为GPT-5.5整体表现最佳。就具体效果来看,Grok 4.5生成的沙盒结构更规整;Claude Opus 4.8在物理效果上更出色,但视觉吸引力略弱;Claude Fable 5则更强调柔和发光的粒子表现。

在打砖块游戏任务中,4款模型同样都生成了可用成品。Grok 4.5和GPT-5.5都采用了霓虹风街机设计,其中GPT-5.5还加入了击球过程中的累计计分机制;Claude Opus 4.8和Claude Fable 5也均达到了任务要求。

在额外进行的SVG图像生成测试中,Claude Fable 5获得最高评价。4款模型都无法直接生成JPEG、PNG等栅格图像,但都可以输出SVG。在“宇航员在月球表面骑马行进”等场景提示下,Claude Fable 5生成的卡通风作品完成度最高;GPT-5.5生成的马匹形态略有失真;Grok 4.5对提示词意图的还原更到位;Claude Opus 4.8虽然场景匹配度较高,但SVG中存在重复属性,进而引发渲染问题。

在成本和延迟维度,Grok 4.5的优势同样明显。TryAI分别围绕编程、推理和摘要三类提示词,对每款模型各运行3次,并将输出上限统一设为400 Token。结果显示,Grok 4.5的首个Token延迟不足0.5秒,输出速度约为每秒110 Token,约为其他模型的两倍,同时单次响应成本也是最低。

不过,从整体响应时间中位数来看,各模型之间的差距并不算大,原因在于Grok 4.5的回答长度相对更长。测试显示,Grok 4.5单次回答的Token数量最多,且全部测量值中有5%的耗时超过9秒;GPT-5.5在短回答场景下响应最为灵敏;Claude Opus 4.8在速度与成本之间相对均衡;Claude Fable 5则最慢,成本也最高。

这项测试表明,评估AI编程工具时,不能只看成品完成度,还需要同时考量响应速度和成本表现。尽管Grok 4.5在最复杂任务中暴露出短板,但其在处理速度和成本竞争力上的优势依然较为明确。

关键词

#TryAI #Grok 4.5 #GPT-5.5 #Claude Opus 4.8 #Claude Fable 5 #AI编程 #单文件HTML应用 #首个Token延迟 #响应成本
版权所有 © DigitalToday。未经授权禁止转载或传播。