搜索关键词 模型量化
AI & Enterprise
Vessl AI为Upstage“Solar Pro 4”提供全球推理基础设施支持
Vessl AI宣布，将为Upstage大语言模型“Solar Pro 4”提供全球推理基础设施支持。该公司表示，将结合模型特性和流量模式进行GPU资源配置，并持续优化模型服务体系，在提升吞吐量的同时压降单Token成本。
AI & Enterprise
外媒称OpenAI内部分享推理降本方案，已用于ChatGPT访客模式部分流程
据外媒报道，OpenAI工程师在内部分享了一套可大幅压缩AI推理成本的优化方案，并已应用于ChatGPT访客模式的部分流程。报道未披露具体技术细节，但称相关方案可将成本降至原来一半以下，并把英伟达GPU占用压缩至约200张。该方案未来能否扩展至更大范围服务及API业务，正受到市场关注。
AI & Enterprise
Prism ML发布Bonsai Image 4B：iPhone端侧出图约12秒
Prism ML发布可在iPhone本地运行的图像生成模型Bonsai Image 4B。该模型基于FLUX.2 Klein 4B进行轻量化再训练，提供1-bit和三值量化两个版本，内存占用分别降至0.93GB和1.21GB。用户可通过免费应用Bonsai Studio下载模型并直接生成图片，其中iPhone Pro机型生成一张512×512像素图片约需12秒。