据TechCrunch 23日(当地时间)报道,专注于解决AI推理瓶颈的初创公司Gimlet Labs已完成8000万美元A轮融资。
Gimlet Labs推出了一套“多芯片推理云”方案,支持AI工作负载在不同硬件之间并行运行和协同调度。
该方案可将传统CPU、面向AI的专用GPU以及大容量内存系统统一调度,以提升AI推理性能。
Menlo Ventures投资人Tim Tully表示,单一芯片难以覆盖所有AI任务需求,而Gimlet Labs的软件能够连接不同类型的硬件资源,并针对性能进行优化。
McKinsey指出,目前数据中心硬件利用率仅为15%至30%。如果这一水平得到提升,理论上可释放数千亿美元级别的成本节约空间。Gimlet Labs则表示,在成本和功耗基本不变的情况下,其方案可将AI推理速度提升3倍至10倍。
目前,Gimlet Labs主要以软件产品和云API服务的形式提供相关能力,并与NVIDIA、AMD、Intel、ARM等主要芯片厂商展开合作。
记者信息