[디지털투데이 황치규 기자] IT인프라 패러다임에서 퍼블릭 클라우드 서비스가 갖는 중량감이 점점 커지고 있지만 클라우드로 갔다가 온프레미스(구축형) 모델로 다시 돌아오는 경우도 늘고 있다. 특히 머신러닝이나 딥러닝 AI 모델을 돌리는 회사들 사이에선 퍼블릭 클라우드 대신 온프레미스 인프라를 활용하는 것이 무시할 수 없는 트렌드가 됐다는 보도까지 나왔다.

퍼블릭 클라우드 업체들은 머신러닝에 필요한 컴퓨팅 환경을 갖추는 것은 너무 비싸고 직접하기에는 복잡하다고 말해왔지만 최근 분위기는 다르다. 퍼블릭 클라우드에서 AI를 돌리는데 들어가는 비용이 높다는 것을 이유로 온프레미스로 전환하는 사례들도 적지 않은 것으로 전해진다.

1일(현지시간) 프로토콜 보도에 따르면 ML옵스 플랫폼 회사인 도미노 데이터랩(Domino Data Lab)의 토마스 로빈슨 부사장은 "여전히 클라우드로 전환하는 고객들이 많이 있지만 적어도 지난 1년 이상 보다 많은 고객들이 비용 때문에 워크로드를 다시 온프레미스로 옮기는 것을 분명하게 보고 있다"고 말했다.

그에 따르면 AI 모델을 돌리는 회사들이 온프레미스로 컴백하도록 이끄는 강력한 동력은 비용이다. 대화형 AI 도구들이나 챗봇에 쓰이는 GPT-3나 다른 거대 언어 트랜스포머 모델같은 컴퓨팅 집약적인 딥러닝 언어 모델을 클라우드에서 돌리는데 따르는 가격이 너무 높다는 것이다. 이로 인해 기업들이 하이브리드 인프라에 다시 투자하고 있다는 것이 그의 설명이다.

월마트 출신으로 지금은 심포니AI 최고기술책임자(CTO)로 있는 비자이 라가벤드라에 따르면 온프레미스 트렌드는 재고 예측을 위해 제품, 유통 및 매장 특화된 데이터를 머신러닝 AI 모델에 공급할 필요가 있는 대형 할인점이나 식료품점들 사이에서 확산되고 있다. 

그는 "클라우드에서 실행하는 비용이 특정 규모에선 상당히 비싸기 때문에 능력이 된다면 자체 코로케이션 데이터센터를 세우고 워크로드를 실행하는 것이 합리적일 수 있다"고 말했다.

일부 기업들은 AI 모델 개발 단계에서 온프레미스 인프라를 활용하는 방안을 검토하고 있다.

머신러닝 및 딥러닝 AI모델은 실전에 투입되기 전 훈련이 필요한데, 이 과정에서 테라바이트 또는 페타바이트급 데이터를 사용할 경우 많은 매개변수 테스트에 많은 컴퓨팅 자원이 투입된다. 경우에 따라 AI 훈련에만 수백만달러가 들어갈 수도 있다.

도미노데이터랩은 제약 분야 한 고객사 사례도 공유했다. 이 회사는 공개적으로 퍼블릭 클라우드 중심 전략을 밝혔지만 컴퓨팅 자원이 많이 들어가는 이미지 인식 모델은 온프레미스에서 관리하기 위해 엔비디아 서버 클러스터 2개를 도입했다고 도미노데이터랩은 전했다.

기업들이 머신러닝이나 딥러닝 모델 훈련용으로만 퍼블릭 클라우드 대신 온프레미스를 선호하는 것은 아니다. 데이터트론의 빅터 수 사장은 "배송 물류를 현지화하거나 매장 재고를 최적화하는 데 사용되는 지역별 머신 러닝 모델을 가진 소매업체 또는 패스트푸드 체인들은 클라우드에서 모델을 실행하는 하기 위해 데이터를 앞뒤로 전달하는 것보다는 매장내 자체 서버들에서 머신러닝 추론 워크로드들을 돌릴 것이다"고 말했다.

지난해 실리콘밸리 유력 벤처 투자 회사인 안드레센 호로위츠의 마틴 카사도 총괄 파트너는 보고서를 통해 기업이 성장하면서 클라우드 지출 비용이 매출원가(cost of revenue: COR)에서 차지하는 비중이 커질 가능성이 높은 만큼, 옛날로의 컴백은 전략적으로 검토해 볼만 하다는 의견을 공유했다.

기업 규모가 커지면서 클라우드에 들어가는 돈이 회사 실적 차원에서 무시할 수 없는 변수가 될 수 있고, 또 옛날로의 컴백이 현실적인 대안이 될 수 있다는게 안드레센 호로위츠의 설명이다.

마틴 카사도 파트너는 당시 SaaS 업체들을 사례로 들며 이같은 주장을 펼쳤는데, 프로토콜 보도를 보면 머신러닝 또는 딥러닝 AI 모델쪽에서도 온프레미스의 존재감이 나름 커지고 있는 것 같다.

대형 클라우드 업체들도 이같은 트렌드에 적극적으로 대응하는 모습이다. 프로토콜 보도를 보면 아마존웹서비스(AWS)는 머신러닝용 인프라로 자사 하이브리드 클라우드 솔루션은 아웃포스트를 프로모션하고 나섰고 구글 클라우드는 지난해 10월 지역에 특화된 컴플라이언스, 데이터 주권, 낮은 지연 시간, 로컬 데이터 처리를 지원하는 구글 디스트리뷰티드 클라우드 엣지(Google Distributed Cloud Edge )를 선보였다.

마이크로소프트도 머신러닝을 하이브리드 클라우드에서 처리하고 클라우드에 배치할 수 있도록 지원하는 제품을 내놨다.

퍼블릭 클라우드 기반으로 탄생한, 이른바 클라우드 네이티브 기업들도 온프레미스로의 확장에 본격적인 시동을 걸었다. 클라우드 기반 데이터웨어하우스(DW)로 유명한 스노우플레이크가 대표적이다. 

스노우플레이크는 AWS, 마이크로소프트 애저, 구글 클라우드에만 서비스를 제공해다 최근 델테크놀로지스, 퓨어스토리지가 제공하는 온프레미스 스토리지 인프라도 지원하고 나섰다. 이외에도 스노우 플레이크는 보다 많은 온프레미스 도구들을 검토하고 있다고 프로토콜은 전했다.