[디지털투데이 황치규 기자] 구글과 앤트로픽이 잇따라 거대언어모델(LLM) 업데이트를 내놓으면서 오픈AI가 주도해온 시장 판세에 어떤 변화로 이어질지 비상한 관심이 쏠린다.

특히 제미나이3가 다수 벤치마크 테스트에서 오픈AI와 앤트로픽을 앞선다는 결과가 나오면서 관련 업계는 오픈AI 상대로한 구글의 추격전을 주목하는 모습이다.

제미나이3를 계기로 구글이 처음으로 LLM 개발 레이스에서 앞서 나가기 시작했다는 평가도 나오고 있다. 창업자와 개발자들 사이에선 제미나이3가 코드와 제품, 웹사이트 디자인을 생성하는데 특히 뛰어나다는 반응이 많다.

제미나이3는 독립 벤치마크 ‘휴먼리티 라스트 이그잼(Humanity’s Last Exam)’에서 37.4점을 기록하며 최고 점수를 경신했다. 이는 기존 GPT-5 프로(31.64점)를 넘어서는 성과다. 사용자 만족도를 측정하는  LM아레나(LMArena)에서도 1위를 차지했다.

월스트리트저널(WSJ) 최근 보도에 따르면 클라우드 기반 협업 플랫폼 박스(Box)의 아론 레비 CEO는 제미나이3 출시에 앞서 복잡한 대규모 문서를 얼마나 잘 분석하는지에 초점을 맞춰 테스트할 기회가 있었는데, "테스트때 마다 두 자릿수 점수 차이로 앞섰다"고 말했다. 모펫내선슨 애널리스트 마이클 내선슨은 “구글이 AI 승자라는 것은 분명하다.”며 “현재 구글 입지가 상당히 우세하다고 본다”고 말했다.

오픈AI도 구글의 부상을 꽤 신경쓰고 있다는 정황도 포착되고 있다. 구글이 제미나이3로 거둔 성과에 대해 샘 알트먼 CEO도 꽤 긴장하는 것으로 전해진다. 디인포메이션 보도에 따르면 샘 알트먼 CEO는 연구진 수천여명에게 긴장감을 갖고 어려운 상황과 일시적인 경제적 역풍에 대비할 것을 주문했다.

구글이 제미나이3로 경쟁사를 앞서는 결과를 내놓을 수 있었던 배경에는 사전 학습(pretraining)을 개선한 것도 큰 영향을 미쳤다는 분석이다. 

사전 학습은 LLM 개발 시 대규모 데이터로 언어 패턴과 지식을 기본적으로 익히는 초기 학습 단계로 연구자들 사이에서 모델 일반화 역량을 키우는데 있어 핵심적인 요소로 평가돼왔다. 

디인포메이션은 "많은 연구자들은 사전 학습은 세계가 작동하는 방식에 대한 일반적인 모델을 AI에 제공하기 때문에 보다 나은 일반화 능력을 갖게 한다. 사전 학습 개선은 다양한 영역 전반에 걸친 개선으로 이어진다"고 전했다.

하지만 최근 AI 업계에선 가져다 쓸 수 있는 데이터에 한계가 오면서 사전 학습을 통한 모델 성능 개선 속도가 둔화되고 있다는 얘기가 많았고 관련 업계도 강화학습 등 사후 학습에 쏟아붓는 물량을 확대해왔다. 사전 학습의 경우 AI 모델들이 모든 유형 데이터를 놓고 연결고리를 찾으려 시도하지만 강화학습 기반 사후 학습에선 모델들이 답변을 다듬기 위해 큐레이션된 데이터를 검토한다. 

이런 가운데 구글은 사후 학습 뿐만 아니라 사전 학습으로도 제미나이3 성능을 개선했고 이는 경쟁사 대비 테스트에서 앞서는 결과로 이어졌다. 

디인포메이션은 "그런 만큼 오픈AI가 구글을 앞서려면 사전 학습 방식을 정비해야 한다. 오픈AI가 이 분야에서 어떤 성과를 내고 있는지 내년 초쯤이면 알 수 있을 것이다"고 전했다.

나름 긍정적인 평가에도 구글이 제미나이3로 오픈AI를 상대로 추격전에 속도를 내거나 역전 드라마까지 쓸 수 있을지는 미지수다. 구글 제미나이3는 전반적인 역량에서 경쟁사를 앞선다는 결과가 나오고 있지만 환각으로 넘어가면 얘기가 달라진다.

아티피셜 어낼리시스(Artificial Analysis) 분석에 따르면  제미나이3는 88% 환각 발생률을 보였으며, 이는 제미나이2.5 프로 및 제미나이2.5 플래시와 비슷한 수준이다.

GPT-5.1과 그록 4 역시 각각 81%와 64%로 높은 수치를 보였으나, 제미나이 3 프로는 이보다 높은 수준이다. 아티피셜 어낼리시스는 제미나이3 프로가 사실적 커버리지는 더 뛰어나지만, 불확실성을 인정하기보다는 잘못된 답변을 제공하는 경향은 여전히 변함없다고 결론 내렸다.