[디지털투데이 석대건 기자] 엔비디아가 구글과 협력해 모든 자사 AI 플랫폼에서 AI 모델 '젬마(Gemma)'를 위한 최적화를 진행했다고 23일 밝혔다.
젬마는 구글의 새로운 경량 오픈 언어 모델(SLM)으로 멀티모달 모델인 제미나이(Gemini)와 동일한 기술로 구축됐다. 20억(2B) 파라미터와 70억(7B) 파라미터 크기로 제공된다.
엔비디아는 구글과 협력해 엔비디아 텐서RT-LLM(TensorRT-LLM)으로 젬마의 성능을 가속화했다. 텐서RT-LLM은 데이터센터, 클라우드 등 엔비디아 RTX GPU가 탑재된 PC에서 대규모 언어 모델(LLM) 추론을 최적화하는 오픈 소스 라이브러리이다. 이를 통해 AI PC에서 엔비디아 RTX GPU를 활용할 수 있다.
클라우드 상의 엔비디아 GPU에서도 젬마를 실행할 수 있다.
여기에는 H100 텐서 코어(H100 Tensor Core) GPU를 기반으로 하는 구글 클라우드 A3인스턴스(A3 instances)가 포함됐다. 향후 초당 4.8테라바이트의 141GB HBM3e 메모리를 갖춘 엔비디아 H200 텐서 코어 GPU도 합류할 예정이다. 구글은 올해 안에 이를 배포할 예정이라고 전했다.
챗 위드 RTX에서도 젬마가 추가로 지원될 예정이다.
챗 위드 RTX는 검색 증강 생성(RAG)과 텐서RT-LLM 소프트웨어를 사용해 로컬 RTX 기반 윈도우(Windows) PC에서 사용자에게 생성형 AI 기능을 제공하는 기술이다. 사용자는 챗 위드 RTX를 통해 PC의 로컬 파일을 LLM에 쉽게 연결하고 자신의 데이터로 챗봇을 개인화 할 수 있다.
엔비디아 AI 플레이그라운드(AI Playground)를 통해 브라우저에서 직접 젬마 2B와 젬마 7B를 체험해 볼 수 있다.
엔비디아 관계자는 "젬마를 사용해 비용을 절감하고 도메일별 용도에 따라 작업 속도를 높였다"고 밝혔다.
SNS 기사보내기
관련기사
- 엔비디아 '어닝 서프라이즈'...4분기 순이익 전년비 769%↑
- AI 바람 타고 관련 기업 주가 상승…당분간 전망 '낙관적'
- 구글, '레딧' 데이터로 AI 모델 학습시킨다
- 엔비디아發 AI 반도체 혁명 "1995년 인터넷 붐 닮았다"
- 구글 제미나이, AI 인물 생성 기능 대폭 개선 나선다
- 구글, 2025년 AI 모델 탑재한 스마트폰 출시 예고
- 직원 '책임감·긴장감' 높게 사는 엔비디아…최고 급여 5억원 '훌쩍'
- 일론 머스크, 구글 '제미나이' 맹비난…엑스AI 홍보 전략일까
- 엔비디아, AI 노트북 탑재될 신형 GPU 2종 발표
- 엔비디아, S&P500 사상 최고치 견인에도 불안한 이유는?