KAIST于30日表示，由计算机学院教授 Park Jong-se 领衔的 AnyBridge AI 团队开发出一款面向LLM服务的下一代AI基础设施软件。该软件可摆脱对单一GPU的依赖，整合多种AI加速器，为LLM提供统一的运行时环境。
凭借这一技术成果，AnyBridge AI 团队在Kakao主办的“四大科学技术院×Kakao AI培养项目”中获得大奖。该项目由Kakao与KAIST、GIST、DGIST、UNIST四所科学技术院联合推进，属于产学合作计划的一部分。
据介绍，该项目主要面向基于AI技术的预备创业团队，从技术实力和商业化潜力等维度进行综合评估，遴选优秀团队。此次获奖后，AnyBridge AI 团队将获得2000万韩元奖金，以及最高3500万韩元的Kakao Cloud资源支持。
AnyBridge AI 团队表示，当前大多数LLM服务仍高度依赖高成本GPU基础设施。随着服务规模扩大，运营成本和电力消耗也会迅速攀升。团队分析认为，问题并不只在于单一硬件的性能，更关键的是，行业内仍缺乏能够高效连接并统一调度多类AI加速器的系统软件。
针对这一问题，团队提出了面向不同加速器的统一软件栈，可在同一接口和运行时环境下部署LLM服务。团队指出，现有LLM服务架构对GPU依赖过深，而其核心技术“多加速器LLM服务运行时软件”可让多种AI加速器在同一系统中协同工作，因此获得了较高评价。
KAIST表示，借助这项技术，AI基础设施无需依赖特定厂商或单一硬件平台，便可根据任务特性灵活选择并组合适合的AI加速器，从而构建更具弹性的系统架构。
Park Jong-se 表示，此次获奖说明，业界已经认识到突破GPU中心型AI基础设施局限的必要性，也看到了整合多类AI加速器的系统软件需求。未来，团队将继续与产业伙伴合作，推动相关技术发展为下一代LLM服务基础设施的关键能力。
Jin-ho Lee
jhlee26@d-today.co.kr