LG Uplus宣布，已与AI模型优化专业企业OptAI合作，联合研发面向AI服务运营的Token优化技术。
LG Uplus于2日表示，双方将围绕提升AI模型计算效率展开联合研究，以在同等资源条件下承载更多用户请求。
Token是大模型理解用户问题、生成回答时处理信息的基本单位。所谓Token优化，是指通过模型轻量化、推理流程优化等方式，在相同GPU资源下提升可处理的Token数量，从而提高整体服务吞吐能力。
在此次合作中，LG Uplus将负责在真实服务环境中开展技术验证和落地应用，OptAI则承担模型“更轻、更快”运行相关技术的研发工作。
目前，双方在基于GPU的模型优化方面已取得阶段性成果。通过面向真实服务场景优化回答生成过程中的推理计算流程，同等GPU资源下的Token处理量最高可提升至原来的4倍。
在此之前，双方已在端侧AI领域展开合作。LG Uplus曾将轻量化技术应用于基于EXAONE的小型语言模型（sLM），使模型可运行于智能手机搭载的神经网络处理器（NPU）上。在性能与CPU方案相当的情况下，功耗降低78%，模型体积缩小82%。
双方表示，将以此次合作为起点，把联合研究范围从既有的端侧AI进一步扩展至服务器GPU环境，重点开发可提升模型计算效率的相关技术，以在相同GPU资源下支持更多请求。LG Uplus计划将相关成果分阶段导入其AI服务及大规模AI基础设施运营场景。
LG Uplus CTO Sang-yeop Lee表示，公司将携手包括OptAI在内的多家合作伙伴，持续拓展Token优化技术研究，并推动成果在实际服务中的应用。
OptAI CEO Jae-ho Lee表示，将与LG Uplus一道，在可在真实服务环境中验证的基础上，进一步提升AI优化技术能力。
记者信息
Jin-ho Lee
jhlee26@d-today.co.kr