[디지털투데이 AI리포터] 애플이 연구 블로그를 통해 M5 애플 실리콘이 M4 대비 로컬 LLM(대형 언어 모델) 실행 성능을 얼마나 개선했는지 공개했다.

MLX는 오픈소스 프레임워크로, 개발자가 애플 실리콘 맥에서 머신러닝 모델을 네이티브로 빌드하고 실행할 수 있도록 돕는다. 또한 AI 업계에서 친숙한 API와 인터페이스를 제공한다고 20일(현지시간) IT매체 나인투파이브맥이 전했다.

MLX 패키지 중 하나인 MLX LM은 텍스트 생성과 언어 모델 파인튜닝을 지원한다. 이를 통해 개발자와 사용자는 허깅페이스에서 제공되는 대부분의 모델을 로컬에서 실행할 수 있으며, 양자화(quantization)도 지원해 메모리 사용을 줄이면서 대형 모델을 실행할 수 있다. 이는 모델이 입력이나 프롬프트에 대한 답을 생성하는 추론 속도를 높이는 효과를 가진다.

애플은 블로그에서 M5 칩이 새로운 GPU 신경망 가속기(neural accelerators) 덕분에 추론 성능이 크게 향상됐다고 밝혔다. 애플에 따르면 GPU 신경망 가속기는 "많은 머신러닝 작업에서 핵심적인 행렬 곱셈 연산을 전담"한다.

실제 성능을 비교하기 위해 애플은 MLX LM을 사용해 M4와 M5 맥북 프로에서 여러 오픈 모델이 프롬프트를 받은 후 첫 토큰을 생성하는 데 걸린 시간을 측정했다. 첫 토큰 생성은 계산량에 따라 성능이 결정되는 반면, 이후 토큰 생성은 메모리 사용에 따라 성능이 좌우된다. 따라서 애플은 추가 128개 토큰 생성 속도도 평가했다. 전반적으로 M5는 M4 대비 19~27% 성능 향상을 보였다.

또한 애플은 이미지 생성 성능도 비교했으며, M5는 M4보다 3.8배 이상 빠른 속도를 기록했다고 밝혔다.