[디지털투데이 석대건 기자] SK하이닉스가 AI 시스템 통합 솔루션 기업으로 변신을 선언했다. 커스텀 HBM을 앞세워 컴퓨트와 메모리를 융합하는 새로운 아키텍처로 시장을 주도한다는 전략이다. 1982년 이후 처음으로 메모리가 시스템 설계의 중심에 서는 전환점을 맞았다는 판단에 따른 것으로 보인다. 

SK하이닉스가 AI 시대 메모리 혁신을 위해 시스템 통합형 솔루션 기업으로의 전환을 가속화하고 있다. 4일 'SK AI 서밋 2025' 데이 2 세션에서 SK하이닉스는 메모리 기업의 정체성을 넘어 AI 인프라 전반을 아우르는 기술 전략을 공개했다.

박경 SK하이닉스 AI 인프라 비즈 인사이트(AI Infra Biz Insight) 조직장은 이날 발표에서 AI 인프라 시장의 구조적 변화를 진단했다. 5대 CSP(클라우드서비스제공업체)의 캐펙스가 매출 대비 20%를 넘어서며 투자 경쟁이 격화되는 가운데, 메모리 시장은 구조적 공급 부족에 직면했다. 

박경 조직장은 "2030년 웨이퍼 기준 메모리 수요는 4100만장이지만 공급 가능량은 3000만장에 불과하다"며 "이러한 구조적 쇼티지가 메모리 산업의 협상력을 강화시키고 있다"고 분석했다.

특히 AI 컴퓨팅 패러다임의 변화로 메모리가 시스템 병목의 핵심이 됐다. 박경 조직장은 "GPU, ASIC 시장이 2030년까지 1000억달러를 돌파하며 멀티플레이어 경쟁 환경으로 전환되고 있다"며 "다양한 컴퓨트와 시스템 아키텍처가 등장하면서 메모리도 각각의 요구사항에 맞춰 진화해야 한다"고 강조했다. 

추론 시대 전환으로 KV캐시 메모리 요구량이 급증한 것도 이러한 변화를 가속화시키고 있다. 특히 시스템 아키텍처 관점에서 근본적 재편이 진행되고 있다. 

엔비디아가 최근 발표한 루빈 플랫폼은 이러한 변화를 단적으로 보여준다. 프리필 전용 프로세서 루빈 CPX는 GDDR7을, 디코드 전용 루빈 GPU는 HBM을, 호스트 역할의 베라 CPU는 LPDDR을 각각 채택했다. 박경 조직장은 "천편일률적인 메모리 계층 구조가 깨지고 기능별로 메모리를 배치하는 조합의 시대가 왔다"며 "메모리 기업이 단순 용량 공급자가 아닌 최적 조합을 제안하는 솔루션 제공자가 돼야 한다"고 말했다.

아울러 이러한 아키텍처 변화는 프리필과 디코드를 분리하는 디스어그리게이션 트렌드와 맞물려 있다. 디스어그리게이션이란 자원을 분리하여 조합하는 방식을 말한다. 프리필은 컴퓨팅 바운드 작업으로 연산 성능이 중요하지만, 디코드는 메모리 바운드 작업으로 대역폭과 용량이 핵심이다.

박경 조직장은 "화웨이도 프리필, 디코드, KV캐시를 각각 분리해 파이프라인으로 처리하는 클라우드 364를 발표했다"며 "이런 아키텍처가 서비스 인프라의 표준이 될 것"이라고 전망했다.

이러한 변화에 SK하이닉스 핵심 대응 전략은 커스텀 HBM이다. 주목할 부분은 HBM 보다는 '커스텀'에 방점이 찍혔다는 것이다. HBM4 이후 도입될 커스텀 HBM은 메모리 스택 하단에 로직 다이를 배치해 컴퓨트와 메모리가 공유할 수 있는 영역을 확보하게 되는데 이를 활용한 전략이다.

박경 조직장은 "로직 공간이 부족한 상황에서 메모리와 컴퓨트가 공유할 새로운 면적이 생긴 것"이라며 "GPU, TPU, ASIC 등 각 고객의 요구사항에 맞춰 하모나이즈할 수 있는 펑션을 집어넣는 것이 핵심"이라고 설명했다.

◆SK하이닉스, 커스텀 HBM으로 메모리-컴퓨트 융합 주도

주영표 SK하이닉스 메모리시스템연구소 시스템 아키텍처 조직장은 이어진 발표에서 이러한 전략을 구체화한 기술 로드맵을 제시했다. 시퀀스 길이가 1000만까지 늘어나면 메모리 용량 요구는 39배 증가하지만 연산량 증가는 0.1%에 불과한 불균형 문제를 지적하며, 다층적 메모리 솔루션의 필요성을 강조했다.

메모리 특화 가속기 개발이 대표적이다. 주영표 조직장은 "칩 패키지 내 메모리 비중을 극대화하고 SOC 로직과 메모리 간 쇼어라인을 최대한 확보하는 추론 전용 가속기가 필요하다"고 설명했다. 그 예시로, CXL 기반 풀드 메모리 '나이아가라'를 들었다. 원래 CPU 중심 데이터센터용으로 개발됐지만 AI 워크로드에 맞춰 재설계해 여러 GPU 서버가 하나의 메모리 서버를 공유하는 구조로 발전시켰다.

SK하이닉스는 D램과 낸드를 조합한 하이브리드 솔루션도 추진 중이다. 주영표 조직장은 "AI 워크로드는 예측 가능성이 높아 프리패치 가능성이 있다"며 "DRAM의 성능과 낸드의 용량을 효과적으로 조합할 수 있다"고 설명했다. 컴퓨테이셔널 메모리 솔루션 CMMX는 대용량 메모리에 연산 기능을 추가해 스파스 어텐션 등을 효율적으로 처리할 수 있게 된다.

무엇보다 가장 혁신적인 접근은 커스텀 HBM 베이스 다이에 연산 기능을 직접 탑재하는 방식이다. 주영표 조직장은 "퀀타이제이션과 디퀀타이제이션을 HBM 베이스 다이에서 처리하면 상당한 성능 이득을 확인했다"며 "스파스 연산의 포인터 트레이싱도 메모리 내부에서 처리하면 효율성이 크게 향상된다"고 설명했다. 이는 기존 2.5D 구조에서 3D 구조로 전환해 입체적으로 확장하는 전략이다.

◆메모리 업계, 1982년 이후 최대 전환점 맞아

SK하이닉스는 이러한 변화가 1982년 이후 처음으로 메모리가 시스템 설계의 중심이 되는 전환점이라고 평가했다. 주영표 조직장은 "82년 80286 메인보드에서 CPU, MPU, 그래픽카드, 사운드카드 등이 모두 SoC로 통합됐지만 메모리만은 별도로 진화해왔다"며 "칩렛 구조 등장으로 로직과 메모리가 하나의 패키지에 통합되면서 메모리가 시스템 아키텍처 설계의 핵심 요소가 됐다"고 분석했다.

이는 메모리 업계에 새로운 기회이자 도전이기도 하다. 동일한 메모리가 아니라 기업 맞춤형으로 메모리를 새롭게 개발해 공급해야만 하기 때문이다. 주영표 조직장은 "고객과의 하드웨어·소프트웨어 코디자인 협력이 필수"라며 "퍼스트티어, 세컨드티어, 서드티어 메모리를 어떻게 활용할지 정확히 파악해야 최적의 솔루션을 제공할 수 있다"고 말했다.

박경 조직장은 "제덱 스탠다드 기준의 소품종 대량생산에서 고객 밸류 창출 중심으로 비즈니스 모델이 전환되고 있다"며 "고객의 시스템과 워크로드를 깊이 이해하고 최적 솔루션을 제시하는 능력이 핵심 경쟁력"이라고 강조했다.