[디지털투데이 황치규 기자] 엔터프라이즈 시장에서 거대언어모델(LLM) 기반 생성형 AI를 어디에 어떻게 쓸지에 대한 관심이 높지만 대다수 기업들은 테스트 수준에 머물러 있다. 올해는 보다 대규모로 LLM을 활용하는 사례가 많이 나올 것으로 보이지만, 좀더 검증이 필요하다는 지적도 여전하다.

이런 가운데 실리콘밸리 유력 벤처 투자(VC) 회사인 안드레센 호로비츠(a16z)에서 엔터프라이즈 시장에서 기업들이 LLM을 활용하는 것과 관련해 주목할만한 변화 16가지로 소개해 눈길을 끈다.

a16z는 포춘 500대 기업 및 주요 기업 리더 수십여명과 이야기를 나누고 270여명을 대상으로 설문조사를 진행한 결과 기반으로 엔터프라이즈 시장에서 생성형 AI가 어떻게 쓰이는지 분석했다.

생성형 AI 회사들 투자에 적극적인 VC가 진행한 조사인 만큼은 결과는꽤 낙관적이다. 하지만 지난해와 달라진 점들에 초점을 맞춰 보면 나름 주목할 만한 내용들이 눈에 띈다. 우선 생성형 AI 기업들이 투자하는 예산들이 늘고 있다.

a16z가 얘기를 나눈 수십여개 기업들만 놓고 보면 2023년 기반 모델(foundation model, FM) API, 자체 호스팅 및 미세 조정 모델들에 대한 평균 지출은 700만 달러였는데, 2024년의 경우 지출을 2배에서 5배까지 늘릴 계획이다. 생성형 AI에 투입하는 비용이 일회성이 아니라 일반 소프트웨어 예산에 편입되고 있다는 것도 주목된다.

생성형 AI 투자 대비 효과(ROI) 측면에서 기업들은 생산성 향상을 주요 지표로 꼽는다. 순고객추천지수(Net Promoter Score)와 고객 만족도와 같은 지표를 활용하고 있는 가운데 수익 창출, 비용 절감, 효율성 및 정확성 향상과 같은 보다 실질적인 수익을 측정할 수 있는 방법을 찾고 있는 상황이다.

인력 측면에서 보면 많은 기업들은 생성형 AI에 관심이 크지만 이를 구현하고 확장하는데 필요한 기술 인재들은 부족한 상황에 직면해 있다. 이에 따라 생성형 AI 구현은 2023년 AI 지출에서 가장 큰 비중을 차지하는 분야 중 하나로 떠올랐다. 이에 따라 기업에서 적절한 생성형 AI 인재를 확보하기가 매우 어렵기 때문에, 이들 기업이 생성형 AI 개발을 쉽게 할 수 있는 툴을 제공하는 회사들에 대한 관심도 커질 것으로 보인다.

생성형 AI 시장은 현재 오픈AI와 앤트로픽, 구글 외에 여러 회사들 LLM들이 나와 있다. 이런 가운데 기업들은 LLM을 도입하는 패턴은 한두가지 골라 쓰는 것에서 업무에 맞게 다양한 LLM을 활용하는 쪽으로 바뀌고 있다. 6개월 전만 해도 대다수 기업은 오픈AI 외에 한가지 모델 정도만 더 쓰고 있었는데, a16z 설문조사 데이터를 보면 기업 리더들은 여러 모델을 테스트중이라고 답했다.

이는 모델 들간 성능이 점점 하나로 수렴되고 있는 상황과도 무관치 않아 보인다. 모델 성능은 예상보다 훨씬 더 빠르게 수렴하고 있으며, 기업들이 선택할 수 있는 범위도 넓어지고 있다는게 a16z 설명이다.

이런 상황에서 여러 모델들을 바꿔가며 쓸 수 있는 LLM 환경에 대한 관심도 커지는 모습이다.

a16z에 따르면 다수 기업들이 모델 간에 전환할 때 API만 변경하면 되도록 애플리케이션을 설계하고 있고필요에 따라 여러 앱에 모델을 배포할 수 있는 '모델 가든'(model gardens)을 구축한 기업들도 있다. 

이와 관련해 a16z는 부분적으로 클라우드 시대에서 공급업체에 대한 의존도를 줄여야 한다는 뼈아픈 교훈을 얻었고 시장이 너무 빠른 속도로 발전하고 있기 때문에 단일 공급업체에 전념하는 것이 현명하지 않다고 느끼기 때문이라고 설명했다.

오픈소스 기반 LLM에 대한 관심도 커지고 있다. a16z에 따르면 이는 지난 6개월 동안 가장 놀라운 환경 변화 중 하나다.

2023년 폐쇄형 LLM 점유율은 80~90%를 차지할 것으로 예상되며, 대부분은 오픈AI일 것으로 보인다.  그러나 a16z 설문조사에선 응답자 46%는 2024년에 오픈 소스 모델을 선호하거나 매우 선호한다고 답했다. 인터뷰에서 AI 리더들 중 약 60%는 오픈소스 사용을 늘리거나 미세 조정된 오픈소스 모델이 폐쇄형 성능과 거의 비슷해지면 전환할 의사가 있다고 했다.

2024년 이후 기업들은 오픈소스 LLM을 많이 사용하는 것을 예상하고 있고 일부는 폐쇄형과 비슷한 수준을 목표로 삼고 있다는게 a16z 분석이다.

오픈소스 LLM을 쓰려는 이유로는 비용 보다는 통제할 수 있다는 점, 내부 환경에 맞춰서 쓸 수 있다는 점 등이 보다 중요한 요인으로 꼽혔다.

처음부터 LLM 기반 모델(Foundation Model, FM)을 구축하는 것보다는 FM을 미세 조정(Fine tuning)해 쓰는 것에 대한 기업들 관심도 커지고 있다. 고품질 오픈 소스 모델들이 등장하면서 대부분 기업들은 처음부터 자체 LLM을 학습시키지 않고 검색 증강 생성(RAG)을 사용하거나 특정 요구 사항에 맞게 오픈 소스 모델을 미세 조정하는 방법을 택하고 있다고 a16z는 전했다.

클라우드가 어떤 LLM을 쓸 지에 나름 영향을 미치고 있다는 점도 흥미로운 부분이다.

2023년에 많은 기업들은 기존 클라우드 서비스 제공업체(CSP)를 통해 LLM들을 도입했다. 올해도 마찬가지일 것으로 보인다. 이는 퍼블릭 클라우드와 기업들이 선호하는 모델 간 상관관계가 매우 높다는 것을 의미한다.

a16z 조사에 따르면 API를 사용해 LLM을 쓰는 기업 72% 중 절반 이상이 CSP가 제공하는 모델을 사용했다. 마이크로소프트 애저(Azure) 사용자는 일반적으로 오픈AI를 선호한 반면, 아마존웹서비스(AWS) 사용자는 앤트로픽(Anthropic) 또는 코히어(Cohere)를 선호했다.

리더들은 특정 모델을 채택하는 가장 큰 이유로 추론 기능, 신뢰성, 접근 용이성(예: CSP)을 꼽았지만, 차별화된 기능에 대한 관심도 높았다. 다수 고객들은 20만개 컨텍스트 창을 지원하는 것을 앤트로픽을 채택한 주요 이유로 꼽았고 사용하기 쉬운 미세 조정 기능 때문에 코히어를 채택한 곳들도 있다.

애플리케이션을 영역을 보면 구매 보다는 자체 구축 비중이 높다. a16z는 다양한 분야에서 검증된 엔터프라이즈 AI 애플리케이션들이 부족한 상황이고 기반 모델들이 API를 제공함으로써 기업들이 쉽게 자체 AI 앱을 구축할 수 있다는 점 등을 이유로 꼽았다 LLM 기반 앱만 놓고 보면 사내에 구축하는데 따르는 진입 장벽이 매우 낮아졌다는 설명이다.

이외에도 다수 기업들은 여전히 LLM을 외부를 상대로하는 서비스 보다는 내부 용도로 많이 쓰고 있다. 환각과 안전성에 대한 잠재적 문제, 소비자 부문(예: 의료 및 금융 서비스)에 생성형 AI를 도입할 때 발생할 수 있는 리스크 등이 여기에 영향을 미칠 수 있다는 점을 고려한 행보로 풀이된다. 지난해의 경우 내부 생산성 향상, 코딩 코파일럿, 고객 지원과 마케팅 부문에서 고객에게 도달하기 전에 사람을 거치는 방식으로 LLM이 많이 활용됐다고 a16z는 전했다.