Samsung SDS于23日宣布,已通过旗下云平台SCP(Samsung Cloud Platform)推出基于Nvidia最新GPU B300(Blackwell Ultra)的GPUaaS服务。
据介绍,B300 GPU采用12层HBM3E(高带宽内存),单卡显存容量达288GB,带宽为8TB/s。在复杂AI推理场景中,其显存容量较H100提升3.6倍,带宽提升2.4倍,显存相关性能显著增强。
Samsung SDS表示,在运行大语言模型(LLM)时,B300可明显缓解因显存数据传输速度跟不上GPU计算速度而产生的数据瓶颈。该公司自2021年起提供基于A100的GPUaaS,并于2023年推出基于H100的GPUaaS,在云基础设施建设、运营及客户服务等方面积累了面向AI基础设施的相关能力。
Samsung SDS称,采用“SCP B300 GPUaaS”的客户可借助更大显存、更高效地处理超大规模AI模型,并在AI Agent、图像、视频和代码生成及分析等对性能要求较高的AI服务中降低时延。
Samsung SDS还计划于今年第三季度推出“Serverless推理服务”。届时,客户在调用AI模型时无需单独承担基础设施使用费用,只需按实际使用的Token数量计费。与此同时,公司还将推出“AI训练服务”,开发者输入代码和数据后,系统即可自动启动AI分布式训练。
Samsung SDS云服务事业部负责人、副社长Lee Hojun表示,公司将依托SCP在GPU资源优化和节能等方面的能力,向希望将AI引入业务的大型企业、中坚企业、中小企业及公共部门客户提供韩国首个B300 GPUaaS服务,支持客户推进AX转型。