[사진: AMD]
[사진: AMD]

[디지털투데이 석대건 기자] AMD가 라이젠AI맥스+ 395 프로세서를 활용해 오픈AI의 GPT-OSS 120B 매개변수 모델을 구동하는 세계 최초의 소비자 AI PC 프로세서를 구현했다고 5일 밝혔다.

GPT-OSS 120B는 1168억 개의 매개변수와 51억 개의 활성 매개변수를 보유하며, GPT-OSS 20B는 209억 개의 매개변수와 36억 개의 활성 매개변수를 갖추고 있다.

이번 성과는 오픈AI가 첫 번째 오픈 웨이트 언어 모델인 GPT-OSS 20B와 120B를 공개한 시점에 맞춰 발표됐다. 

AMD는 라이젠AI맥스+ 395 프로세서가 데이터센터급 하드웨어에서만 가능했던 AI 워크로드를 얇고 가벼운 노트북에서 구현했다고 설명했다. 

이번 성과를 통해 AMD가 클라우드부터 클라이언트까지 최첨단 AI 워크로드를 위한 풀스택 솔루션을 제공하는 유일한 업체라는 입지를 강화했다고 강조했다.

지난주 AMD는 128GB 메모리를 탑재한 라이젠AI맥스+ 395 프로세서가 윈도우 환경에서 llama.cpp를 통해 최대 1280억 개의 매개변수를 실행할 수 있도록 업그레이드했다.

GGML로 변환된 MXFP4 가중치는 약 61GB의 VRAM을 필요로 하며, 라이젠AI맥스+ 395 프로세서의 96GB 전용 그래픽 메모리에 원활하게 적재된다.

AMD 고객들은 초당 최대 30토큰의 속도로 데이터센터급 최첨단 모델에 접근할 수 있다. 라이젠AI맥스+ 플랫폼의 대역폭과 오픈AI GPT-OSS 120B의 전문가 혼합 아키텍처를 통해 제공된다.

오픈AI 모델 지원 제품 매트릭스 [사진: AMD]
오픈AI 모델 지원 제품 매트릭스 [사진: AMD]

128GB의 대용량 메모리를 갖춘 라이젠AI맥스+ 395는 이 모델과 함께 모델 컨텍스트 프로토콜(MCP) 구현도 지원한다. 라이젠AI 300 시리즈 프로세서 사용자들은 더 작은 20B 모델을 완전히 활용할 수 있다.

데스크톱 시스템에서 라데온 9070 XT 16GB 그래픽 카드를 사용하면 또 오픈AI GPT-OSS 20B 모델 성능을 높일 수 있다. 이 구성은 빠른 토큰/초 처리 속도와 뛰어난 TTFT 성능을 제공한다고 회사 측은 설명했다.

AMD는 오픈AI GPT-OSS 120B 및 20B 모델을 라이젠AI 프로세서와 라데온 그래픽 카드에서 실행하기 위한 상세한 가이드를 제공하고 있다.

키워드

#AMD #오픈AI
저작권자 © 디지털투데이 (DigitalToday) 무단전재 및 재배포 금지

관련기사