Vessl AI当地时间10月12日表示，将为Upstage大语言模型（LLM）“Solar Pro 4”提供全球推理基础设施支持。
Vessl AI称，此次合作是韩国本土开发的AI模型拓展全球市场过程中，由韩国云计算企业Vessl AI提供底层基础设施支撑的案例。
据介绍，Vessl AI将根据模型特性及实际流量模式对GPU资源进行配置，并持续优化模型服务体系，重点提升推理吞吐量、降低单Token成本。
该公司表示，团队通过提升内部缓存命中率、实施模型量化以及推理加速等技术手段，在相关优化方案接入前后对比中，处理速度平均提升2倍，最高提升3倍。与此同时，随着缓存命中率提高，单Token成本也得到进一步优化，成本节约效果最高可达2倍。
Vessl AI还表示，后续将继续支持Solar系列模型扩容所需的推理基础设施建设。
Vessl AI首席执行官An Jaeman表示，此次合作的意义在于，以韩国云计算基础设施支撑韩国本土研发模型的全球化落地成果。An Jaeman称，基于公司已积累的推理运营经验，Vessl AI将为模型提供方创造更专注于研究和产品开发的环境，并进一步强化作为推理服务提供商的能力，支持企业稳定引入开源模型。
记者信息
Chi-gyu Hwang
delight@d-today.co.kr