[디지털투데이 황치규 기자]AI 스타트업 업스테이지는 자체 개발한 사전학습 LLM(Large Language Model) 솔라(Solar)를 공개하고 글로벌 LLM 시장 공략에 나선다.

회사 측에 따르면 ‘솔라’는 기업들이 활용하기 좋은 프라이빗 LLM을 위해 작은 크기로 구성된 사전학습 모델로107억 매개변수(10.7B) 모델이다. 업스테이지는 솔라에 대해 고도 지능과 컴팩트함이 균형을 찾은 모델이라고 평가했다. 

솔라는 세계 최대 머신러닝 플랫폼 허깅페이스에서 운영하는 ‘오픈 LLM 리더보드’에서 1위에도 올랐다. 솔라는 알리바바 최신 모델인 큐원(Qwen)과 비교해 6분의 1도 안되는 크기로 이를 뛰어넘는 성능을 보였다고 회사 측은 전했다.

ㆍ[디투피플]"생성형AI, 내년이 분수령...자체 특화LLM으로 글로벌 도전"

 업스테이지는 다양한 연구를 통해 작은 사이즈 솔라 모델 성능을 최적화했다. 업스테이지는 성능이 좋지만 규모가 큰 13B 모델과 충분히 작지만 지적 제약이 있는 7B 모델 사이 장점을 모두 잡는 최적의 모델 크기를 찾기 위해 오픈소스 7B 모델들을 기반으로 자체적인 뎁스 업 스케일링(Depth Up-Scaling) 방식을 적용, 소형 모델 성능을 극대화했다고 강조했다.

업스테이지는 솔라 개발을 위해 사전 학습 및 파인튜닝 단계에서는 리더보드 벤치마킹 데이터셋을 사용하지 않고, 자체적으로 구축한 데이터를 적용했다. 리더보드 점수를 높이기 위해 벤치마크 셋을 직접 적용하는 모델들 사례와 달리 솔라는 다양한 작업 실제 업무 활용 등 일반적인 경우 높은 사용성을 보여줄 수 있음을 반증한다고 회사측은 강조했다.

업스테이지는 솔라에 대해 최근 20억달러 기업 가치로 투자를 받은 미스트럴AI가 선보인 최신 모델 믹스트랄(Mixtral 8x7B) 모델 성능지표도 뛰어넘었다는 점도 부각했다.

미스트럴은 70억 파라미터 전문 모델 8개를 묶은 구조에 기반하는데, 업스테이지 솔라는 모델링 노하우와 최적화 기술력으로 믹스트랄 모델보다 더 가벼운 크기에도 불구하고, 벤치마크평가에서 더 나은 성능을 보였다고 회사 측은 전했다.

김성훈 업스테이지 대표는 “KT 전략투자를 통한 지원이 큰 도움이 되었고 앞으로 지속적으로 더 큰 격차를 벌릴 수 있는 솔라 모델을 활용, B2B 시장에서  협력도 추진할 것”이라고 말했다.