[디지털투데이 황치규 기자] 챗GPT와 같은 생성AI 기반 서비스들이 쏟아지면서 AI 인프라 비용 절감이 경쟁력 승부처로 부상했다. 

관련 업계에 따르면 생성 AI 기반 서비스가 지속 가능성을 확보하기 위해서는 품질도 중요하지만 최대한 저렴하게 인프라를 운영하는 게 핵심 요소로 통하고 있다. 이에 따라 비용 효율적으로 AI 인프라를 돌릴 수 있도록 지원하는 기술에 대한 관심도 높아졌다.

거대 언어 모델(LLM) 같은 AI 시스템에 대한 훈현 및 추론에는 다량의 GPU를 포함해 강력한  컴퓨팅 시스템이 필요하다. 대기업이라고 해도 이들 시스템을 계속 운영하는데 따르는 비용은 만만치 않은 부담이란게 업계 설명이다.

반도체 시장 분석 업체 세미어낼리시스에 따르면 오픈AI가 개발한 AI챗봇 서비스 챗GPT의 경우 하루 운영 비용이 70만달러에 이르는 것으로 추정된다. 이런 파텔 세미어낼리시스 수석 애널리스트는 IT전문 미디어 디인포메이션과의 인터뷰에서 "대부분의 비용은 값비싼 서버들에 기반하고 있다"고 말했다.

그에 따르면 챗GPT 운영 비용은 지금은 더 늘어났을 수도 있다. 그가 계산한 하루 70만달러는 오픈GPT-3를 기준으로 추정한 것이다. 오픈AI는 최근 GPT-3 후속 버전인 GPT-4를 내놨다. 파텔 애널리스트는 비즈니스 인사이더를 통해 "GPT-4 LLM은 운영에 보다 많은 비용이 들어갈 수 있다"고 말했다. 

온라인 미디어 세마포 최근 보도를 보면 이미지 생성 AI 솔루션 스테이블 디퓨전 개발사인 스터빌러티 AI는 지난해말 유치한 1억달러 규모 투자 금액 중 상당 부분을 소진했고 추가 투자 라운드를 진행하고 있다. 들어가는 비용 상당 부분이 AI 인프라 운영에 들어갔을 것으로 파악된다.

AI 인프라 비용 부담이 커지면서 보다 효율적으로 AI 인프라를 돌릴 수 있도록 지원하는 기술에 대한 관심도 높다.  빅클라우드 회사들은 엔비디아 GPU보다 저렴한 AI 반도체를 직접 개발하고 있고, AI 스타트업들도 속속 등장하고 있다.

아마존웹서비스(AWS)는 머신러닝 모델 훈련에 특화된 커스텀 칩 AWS 트레이니엄으로 구동되는 Trn1 인스턴스는 다른 모든 EC2 인스턴스에 비해 훈련 비용을 최대 50% 절감할 수 있다고 강조하고 있다. 네트워크 집약적 대규모 모델을 위해 20% 더 높은 성능을 Trn1을 통해 제공하도록 설계된 새로운 Trn1n 인스턴스도 출시했다.

구글은 AI 워크로드들을 겨냥해 텐서 프로세싱 유닛(Tensor Processing Unit, TPU) 칩을 자체 개발했고  자사 AI 훈련 작업 90% 이상에 이들 칩을 사용하고 있다. 구글 TPU는 현재 4세대 버전이 나와 있다.

구글은 최근 논문을 통해 자사 TPU 기반 슈퍼컴퓨터가 비슷한 크기 엔비디아 A100 칩 시스템보다 1.7배 빠르고 에너지 효율성은 1.9배 뛰어나다는 점을 부각했다. 구글은 자사 슈퍼컴퓨터들은 칩들 사이 연결 환경 구성을 다시 하기가 쉽다 보니, 문제들을 피할 수 있고 성능 향상에 필요한 수정에도 유용하다고 강조했다.

마이크로소프트도 AI 시장에서 지분 확대를 위해 AI용 칩을 자체 개발하고 있다는 소식이다. 최근 디인포메이션 보도를 보면 마이크로소프트는 이르게는 2019년부터 내부에서 코드명 아테나(Athena)로 불리는 칩 개발 프로젝트를 진행하고 있다. 미이크로소프트는 AWS와 구글에 비해 AI 칩 개발 레이스에서 뒤져 있고 엔비디아 GPU에서 돌아가는 자사 서비스들에 보다 저렴한 대안이 필요한 상황을 고려해 칩을 직접 개발하기로 한 것으로 전해졌다.

현재 300명 이상이 칩 개발 프로젝트에 투입돼 있고 이르면 내년 마이크로소프트와 오픈AI 내부용으로 칩이 공개될 수 있을 것이라고 디인포메이션은 전했다.

KT클라우드도 AI 반도체 스타트업 '리벨리온'이 개발한 시스템온칩(SoC) '아톰'을 이르면 5월말 클라우드, 데이터센터 등에 투입한다. 아톰은 기존 칩 대비 전력 사용량이 5분의 1 수준이고 성능은 그 이상이라고 KT클라우드는 강조하고 있다.

AI 반도체 스타트업 및 컴퓨팅 자원을 보다 효율적으로 쓸 수 있게 해주는 소프트웨어를 주특기로 하는 국내외 기업들 행보도 주목된다.

국내 스타트업인 래블업도 AI 학습 및 서비스에 필요한 GPU, AI 반도체 및 데이터를 비용 효율적으로 운영할 수 있게 해주는 플랫폼인 백엔드닷에이아이Backend.AI)를 앞세워 고객 기반을 확대해 나가고 있다.

회사 측에 따르면 삼성전자, KT, LG전자, CJ 등 국내 대기업들과 한국은행, 건강보험심사평가원, GIST 등 기관들을 포함해 70여곳에서 이미 백엔드닷에이아이를 활용하고 있다. 

백엔드닷에이아이는 GPU 등 반도체 자원을 가상화해 최대한 효율적으로 이용할 수 있도록 지원한다. 신정규 래블업 대표는 "전 세계적으로 AI 연구/개발과 서비스에 관심이 높은 만큼 필요로 하는 자원인 GPU 사용 및 비용 절감에 대한 부분을 제공해 줄 수 있는 솔루션 수요 또한 빠르게 증가하고 있다"면서 "이번 투자를 통해 래블업은 국내뿐 아니라 글로벌 AI 플랫폼 솔루션 시장에서 주도적인 역할을 할 수 있을 것"이라고 말했다. 래블업은 최근 105억원 규모 시리즈A 투자도 유치했다.

해외 스타트업인 서드AI의 경우 GPU보다 상대적으로 저렴한 CPU에서 복잡한 AI 알고리즘을 효과적으로 운영할 수 있도록  지원하는 기술을 제공하고 있다. 오픈AI가 챗GPT를 공개한 이후 수요가 늘고 있다는게 회사측 설명.

안슈말리 스리바스타바 서드AI CEO는 "CPU에 초점을 맞추고 있기 때문에 엔터프라이즈 기업들이 복잡한 AI 모델을 클라우드가 아니라 온프레미스(구축형) 인프라에 배치할 수 있도록 실제 지원한다. 온프레미스 솔루션들을 필요로 하는 산업들에서 프라이버시와 보안에 대한 우려를 완화시켜 준다"고 말했다.