KAIST研究团队开发出一款面向AI服务器的“虚拟试验场”，可在大规模部署之前对系统性能与运行效率进行验证。借助这一仿真平台，研究人员无需实际搭建成本高昂的服务器集群，也能提前评估下一代AI芯片及大语言模型（LLM）服务基础设施方案。

KAIST于29日表示，计算机系 Park Jong-se 教授团队研发的LLM服务基础设施仿真平台“LLMServingSim 2.0”，其相关论文在计算机系统性能分析领域会议ISPASS 2026上获得最佳论文奖。

LLMServingSim 2.0可对不同软硬件组合进行仿真和评估。研究人员和开发者无需直接建设大规模服务器基础设施，便可测试多种系统设计方案，并验证其性能表现。

该平台不仅适用于当前以图形处理器（GPU）为核心的部署环境，也支持神经网络处理器（NPU）、存内处理（PIM）以及基于CXL的内存扩展设备等多类下一代硬件架构。

研究团队表示，即便是尚未商业化的下一代AI芯片，也可以先在虚拟数据中心环境中进行测试。针对特定芯片方案，系统能够提前分析其服务响应速度、功耗水平，以及在大规模服务器环境下的稳定性等关键指标。

在系统层面，LLMServingSim 2.0可复现AI服务运行过程中涉及的请求处理、批处理策略、内存占用、数据迁移和功耗变化等环节，用于识别多种因素共同作用下产生的系统瓶颈，并评估整体效率。该平台还支持对服务器资源解耦后再互联的分布式基础设施进行分析，可用于下一代AI数据中心相关研究。

KAIST表示，这一仿真平台有望被LLM服务企业和AI芯片初创公司用于下一代AI基础设施的设计与优化。目前，研究团队已将LLMServingSim 2.0以开源形式对外发布。

Park Jong-se表示，AI服务的竞争力不仅取决于模型本身，也取决于能否以稳定、高效的基础设施支撑模型运行。他希望，这一平台能够成为学界和产业界加快下一代AI基础设施研发的重要基础工具。

本项研究由计算机系硕士生Cho Jae-hong与Choi Hyun-min担任共同第一作者主导完成，并获得韩国科学技术信息通信部、信息通信规划评价院、韩国电子通信研究院及SK hynix的支持。