[디지털투데이 황치규 기자]래블업이 18일부터 21일까지 미국 새너제이 컨벤션센터에서 열리는 엔비디아 AI 컨퍼런스인 GTC 2024에 실버 스폰서로 참가한다. 

래블업은 이번 컨퍼런스에서 두 가지 주제에 대해 발표할 예정이다. 래블업 신정규 대표와 김준기 CTO는 양자화, QLoRA 등 리소스 절약 및 모델 압축 기술과 vLLM, 텐서RT-LLM(TensorRT-LLM) 결합을 통해 자사 백엔드닷에이아이(Backend.AI) 솔루션이 어떻게 대규모 로컬 LLM을 효율적으로 조작하는지 소개한다. 

김준기 CTO는 클라우드 및 개인 PC GPU를 이용해 사용자 맞춤형 생성형 AI를 개발하고 서비스할 수 있는 방법을 시연한다. 

래블업은 전시부스(Booth #1233)에서 엔비디 DGX-레디(Ready) 소프트웨어인 백엔드닷에이아이 엔터프라이즈(Backend.AI Enterprise)도 시연한다.

백엔드닷에이아이는 엔비디아 DGX 시스템 및 기타 GPU 가속 컴퓨팅 리소스 성능을 극대화하며, 사용자 환경을 변경하지 않고도 GPU 사용성을 높여주는 AI 인프라스트럭처 운영 플랫폼이다.