韩国电子通信研究院(ETRI)宣布,已开发出一项面向数据中心的服务器内存共享技术,可将闲置内存资源集中调度,突破单台服务器的内存容量限制。
ETRI于19日表示,其自主研发的内存虚拟化平台EMP(Elastic Memory Platform)已部署至美国南加州大学先进研究计算中心(USC CARC)一套500节点规模的高性能计算(HPC)集群,并自今年9月起开展试运行。
EMP是一套系统软件平台,可通过超高速网络将多台服务器上分散的内存整合起来,并按需提供给特定服务器作为扩展内存使用。借助这一机制,即使单台服务器本地内存不足,也可调用其他服务器的闲置内存资源,完成大规模计算任务。
在实际性能验证中,研究团队在一台仅配备448GB本地内存的服务器上,成功运行了一个需要约1.8TB内存的基因组分析任务。本地内存仅相当于任务所需容量的约四分之一,其余部分则通过InfiniBand超高速网络调用其他服务器内存进行补足。
针对USC CARC提出的生物类应用程序所做的性能测试显示,EMP在单位内存性能方面较现有系统最高提升2.3倍。此次部署也意味着,USC CARC的HPC集群最多可将384TB规模的内存资源纳入EMP统一调度和利用。
EMP的一大特点是部署时无需修改现有应用程序源代码。ETRI表示,目前已完成与HPC标准作业调度器SLURM的联动,并正推进与Web端用户界面Open OnDemand的集成。
ETRI表示,后续将与USC研究团队一道,在基因组组装、宏基因组数据分析、蛋白质分析和气象预测等大规模科学计算场景中,进一步验证该技术的性能与可用性。同时,研究院还计划将其应用范围扩大至韩国国内HPC中心、高校及科研机构,并推进商业化落地。
ETRI AIDC研究本部本部长Ko Kwang-won表示,EMP通过共享现有服务器的闲置内存,突破了单机内存容量限制,为大规模计算提供支撑。未来,ETRI将把EMP打造为提升韩国AI数据中心资源利用效率的关键系统软件。