[디지털투데이 황치규 기자] 생성AI를 돌리는 인프라 시장 공략을 위한 빅 퍼블릭 클리우드 업체들의 공세가 거센 가운데 온프레미스(On-premise: 기업 내부에 직접 IT인프라를 구축하는 방식) 진영의 반격이 만만치 않다.

온프레미스 인프라 진영은 비용과 보안을 이유로 엔터프라이즈 시장에선 퍼블릭 클라우드 보다는 온프레미스가 생성AI를 돌리는데 유리하다는 메시지를 내걸고 공세를 강화하는 모습이다. 일각에선 생성AI가 퍼블릭 클라우드로 주도권이 넘어가던 컴퓨팅 인프라 시장에서 온프레미스 지분이 다시 확대되는  분위기 반전 카드가 될 거란 기대도 엿보인다.

생성AI가 퍼블릭 클라우드를 상대로 역전 드라마를 쓰는 소재가 될지는 두고봐야겠지만 온프레미스 기반 엔터프라이즈 컴퓨팅 회사들이 최근 생성AI용 하드웨어 및 소프트웨어 플랫폼 시장 공략에 그 어느때보다 공격적인 것은 분명하다. 델테크놀로지스, VM웨어, HPE 등이 온프레미스 및 프라이빗 클라우드 시장에서 힘꽤나 쓰는 회사들이 대거 생성AI 솔루션을 들고 엔프라이즈 시장 공략에 본격 나섰다.

델은 올해 들어 생성AI 시장 공략을 위한 라인업을 크게 강화했다. 엔비디아와 협력해 해 온프레미스 생성 AI 구축을 위한 ‘프로젝트 헬릭스(Project Helix)’를 공개했고, XE9680, XE9640, XE8640 등 이를 지원하는 GPU 서버들도 출시했다. 인프라를 넘어 컨설팅 서비스까지 선보이는 등 생성AI 공략을 위한 델의 행보는 점점 공격적으로 바뀌고 있다.

델테크놀로지스는 기업용 생성AI 인프라에 이어 컨설팅 서비스 사업에도 진출한다.오는 31일 생성AI 전략 수립부터 구축, 운영, 확장, 교육에 이르는 프로세스를 모두 커버하는 생성AI 프로페셔널 서비스를 선보인다.

델테크놀로지스의 존 로즈(John Roese) 글로벌 CTO가 "데이터의 85%가 온프레미스(기업이 자체 구축한 IT 환경)에 있고 GPU 가속화 서버 역시 50%가 온프레미스나 엣지 환경에 있다. 이들 기밀 정보에 생성AI를 적용하는 것이 중요하다"며 기업용 생성AI 시장은 데이터를 기업 내부에 두면서 활용할 수 있는 프라이빗 AI 방식이 핵심임을 거듭 강조했다.

VM웨어도 엔비디아와 협력해 기업들이 생성 AI 모델을 개발하고 훈련시키고 배치하도록 지원하는 플랫폼 VM웨어 프라이빗 AI 파운데이션 위드 엔비디아( VMware Private AI Foundation with Nvidia)를 발표했다. 양사가 선보인 솔루션은 VM웨어 클라우드 파운데이션과 엔비디아 가속화 컴퓨팅 및 생성AI 소프트웨어가 통합된 플랫폼으로 엔터프라이즈 기업들이 AI 모델을 개발하고 최적화하고 배치하는데 필요로 하는 기능들을 제공한다.

LLM 구축에서 중요한 두 축은 학습과 추론이다. 학습은 모델이 패턴을 인식하고 데이터를 기반으로 예측하도록 가르치는 과정이다. 여기에는 라벨링된 대규모 데이터셋과 이를 지원하는 강력한 하드웨어가 필요하다. 추론에 비해 학습에 훨씬 더 많은 컴퓨팅 파워가 투입된다.

추론은 학습된 모델을 적용해 라벨링되지 않은 데이터를 처리하는 과정으로 학습에 비해 덜 컴퓨팅 집약적이다. 이와 관련해 하이퍼스케일 데이터웨어하우스 및 분석 스타트업 오시언트(Ocient)의 크리스 글래드윈 CEO는 최근 실리콘앵글을 통해 "데이터 양과 복잡성이 증가함에 따라 데이터를 회사 인프라 내에 두는 것이 학습을 수행하는데 있어 보다 비용 효율적"이라고 말했다.

규제에 민감한 분야 기업들 사이에서도 온프레미스 기반 LLM이 대안일 수 있다. LLM은 블랙박스 같은 속성이 있는 만큼, 퍼블릭 클라우드 업체들이 안전한 환경을 제공한다고 해도 민감한 데이터를 클라우드에 놓고 LLM을 돌리는 것을 기업들이 부담스러워할 수 있다는 설명이다.

기술 분석 회사인 인포메이션 서비스 그룹 프라산트 켈커 디지털 솔루션 파트너는 "여러 이유들로 이유로 인해 대규모 AI 모델 학습이 클라우드가 아닌 온프레미스에서 이뤄질 것으로 예상하고 있다"면서 데이터 프라이버시 및 컴플라이언스 보장, 대용량 데이터를 클라우드로 전송하는데 필요한 비용과 시간을 예로 들었다.

생성AI 확산이 퍼블릭 클라우드가 주도하는 컴퓨팅 인프라 트렌드에 근본적인 변화로 이어질지에 대해서는 신중론이 여전히 많다. 클라우드 비용은 상황에 따라 다를 수 있다.  자주 쓰는게 아니라면 클라우드가 비용 측면에서 유리할 수 있다.

민첩성과 편의성도 여전히 퍼블릭 클라우드가 온프레미스 대비 우위에 있다고 평가되는 요소들이다. 주요 클라우드 서비스 업체들은 머신러닝 워크로드를 쉽게 구축하고 운영할 수 있는 다양한 서비스들을 제공하고 있다. AWS 세이지메이커는 모델 구축 및 학습을 가속화할 수 있도록 지원하고 구글 클라우드 AI 플랫폼은 대규모 데이터셋에 대한 학습을 할 수 있게 해준다

그럼에도 생성AI 확산 속에 온프레미스 컴퓨팅 인프라가 갖는 존재감은 생성AI가 이슈가 되기 전과 비교해 커지는 모양새다.  보다 중량감 있는 트렌드로 진화할지 주목된다.