새 메모리 설루션, 커스텀 HBM·AI D램·AI 낸드
엔비디아·오픈 AI·TSMC·샌디스크 등과 협업
"인공지능(AI) 시대를 맞아 메모리의 중요성이 커짐에 따라 커스텀(맞춤형) 고대역폭 메모리(HBM), AI D램, AI 낸드플래시 등 새로운 메모리 솔루션을 준비하고 있습니다."
곽노정 SK하이닉스 사장은 지난 3일 서울 강남구 코엑스에서 열린 ‘SK AI 써밋(Summit) 2025’ 기조연설을 통해 '풀 스택 AI 메모리 크리에이터'라는 새로운 비전을 발표했다. 곽 사장은 "지금까지 고객이 원하는 제품을 적시에 공급하는 '풀 스택 AI 메모리 프로바이더' 역할을 해왔다"며 "앞으로는 고객이 가진 문제를 함께 해결하며 생태계와 활발히 협업해 고객이 기대하는 것 이상의 가치를 제공하겠다"고 말했다.
곽 사장은 "지금까지의 메모리 솔루션이 컴퓨팅 중심으로 통합됐다면 미래에는 메모리의 역할을 다변화하고 확장해 컴퓨팅 자원을 효율적으로 사용하며 AI 추론 병목을 구조적으로 해결하는 방향으로 발전할 것"이라고 말했다.
이어 "AI 시장의 개발 방향이 범용성에서 추론 효율성, 최적화로 확장되고 있어 HBM 역시 고객 맞춤형으로 진화하고 있다"면서 "커스텀 HBM은 고객의 요구를 반영해 GPU, ASIC에 있었던 일부 기능을 HBM 베이스 다이로 옮긴 제품이다. 성능을 극대화하고 HBM과의 통신에 필요한 전력을 줄여 시스템 효율을 개선할 수 있다"고 소개했다.
D램 분야에선 영역을 더 세분화해 각 영역의 요구에 적합한 메모리 솔루션을 준비 중이다. 곽 사장은 "먼저 최적화된 관점에서 총소유비용 절감과 운영 효율화를 지원하는 저전력 고성능 D램인 AI-D O(Optimization)을 준비 중"이라며 "메모리 월을 뛰어넘기 위한 초고용량 메모리와 자유자재로 메모리 할당이 가능한 AI-D B(Bandwidth) 솔루션을 개발하고 있다"고 했다. 또 "응용분야 확장 관점에선 로보틱스, 모빌리티, 산업 자동화 같은 분야로 응용처를 확장한 AI-D E(Expansion)을 준비하고 있다"고 설명했다.
낸드 분야는 초성능을 강조한 AI-N P(Performance), HBM 용량 증가의 한계를 보완하기 위해 적층을 통해 대역폭을 확대한 AI-N B(Bandwidth), 초고용량을 구현해 가격 경쟁력을 강화한 AI-N D(Density) 등 세 가지 방향의 차세대 스토리지 솔루션을 개발하고 있다. AI-N P는 내년 말 샘플을 출시할 계획이다.
곽 사장은 "AI 시대에는 혼자만의 역량이 아닌 고객 및 파트너들과 협업을 통해 더 큰 시너지를 내고, 더 나은 제품을 만들어 나가는 업체가 성공할 것이라 생각한다"며 "엔비디아와의 HBM 협력뿐 아니라 옴니버스(Omniverse), 디지털 트윈(Digital Twin)을 활용해 AI 제조 혁신을 추진하고 있고, 오픈AI와 고성능 메모리 공급을 위한 장기 협력을 진행 중"이라고 강조했다.
아울러 "샌디스크와 HBF(고대역폭 플래시)의 국제 표준화를 위해 협력하고 있으며, 실제 데이터센터 환경에 차세대 AI 메모리와 스토리지 제품을 최적화하기 위해 네이버클라우드와 협력도 진행 중이다"며 "앞으로도 파트너들과 함께 협력하고 도전해 미래를 개척하겠다"고 말했다.
◆ HBM4부터 AiMX까지…AI 인프라 핵심 기술 공개
SK텔레콤과 SK하이닉스를 비롯해 AI 생태계를 선도하는 SK그룹 주요 계열사들은 이번 서밋에서 AI 인프라, AI 모델, AI 전환(AIX) 역량을 한눈에 보여주는 체험형 전시 부스를 마련했다. ‘풀 스택 AI 메모리 크리에이터(Full-stack AI Memory Creator)’를 콘셉트로 꾸며진 전시 공간에서는 고대역폭메모리(HBM) 실물과 차세대 AI 전용 D램, AI 가속 솔루션 ‘AiMX’ 등이 공개됐다.
SK하이닉스의 AI 인프라 존은 ▲Powering AI with Memory ▲Memory-Centric AI Machine ▲AIM-based Accelerator 등 세 구역으로 구성됐다. 이 가운데 Powering AI with Memory 존에서는 인공지능 연산의 핵심이 되는 메모리 기술이 집중적으로 소개됐다. HBM4를 비롯해 64GB DDR5 RDIMM, 192GB SoCAMM2 등 고성능·대용량 메모리 제품이 전시됐다. HBM4 표준보다 높은 최대 11Gbps 성능을 확보했고, 전력 효율도 HBM3E 대비 40% 좋아졌다. SK하이닉스 관계자는 "HBM4는 12단으로 쌓은 구조로 올해 연말 양산 공급 예정이다"며 "엔비디아에서 요구하는 스펙을 충족해 대응하고 있다"고 말했다.
이어 "현재 64GB DDR5 RDIMM은 이미 상용화돼 이전 세대 시스템에서 사용되고 있다”며 “256GB DDR5 3DS RDIMM은 8.0Gbps 속도가 구현되는 차세대 플랫폼에서 상용화될 예정이지만 아직은 상용화 전 단계로 내년 AMD나 인텔의 신규 CPU 출시 시점에 맞춰 시장에 나올 것”이라고 말했다. 이어 “현재 내부 인증 절차가 진행 중”이라고 덧붙였다.
◆ GDDR6-AiM, 메모리 안에서 연산 구현
SK하이닉스는 AI 메모리 존에서 연산 기능을 탑재한 GDDR6-AiM(PIM) 칩과 이를 앞뒤로 32개 탑재한 AiMX 카드를 전시했다. GDDR6 메모리 내부에 연산 기능을 넣은 구조로 CPU·GPU로의 데이터 이동을 줄일 수 있다. SK하이닉스 관계자는 “대규모 언어모델(LLM) 구동 과정에서 메모리 대역폭 한계와 높은 전력 소모가 주요 문제로 지적돼 왔다”며 “이번 제품은 메모리 내부에 연산 기능을 넣어 데이터를 불러오는 시간을 줄이고, 전력 효율을 개선했다. AI 모델 서빙 효율을 높일 수 있는 것이 특징”이라고 설명했다.
기존 시스템은 메모리 칩에 저장된 데이터를 외부 연산 장치로 불러와 처리해야 해 대역폭 한계와 지연 문제가 발생했지만 이번 제품은 데이터를 메모리 내부에서 바로 연산하도록 설계됐다. SK하이닉스 관계자는 데이터를 메모리 바깥으로 내보내지 않고 칩 내부에서 연산을 수행하기 때문에 전력 소모와 연산 지연 시간을 모두 줄일 수 있다”고 설명했다. 이어 “메모리 옆에 연산기가 붙어 있어 데이터를 멀리 이동시키지 않아도 되고, 내부에서 처리된 결과만 내보내기 때문에 LLM 구동 시 발생하는 메모리 병목 현상 완화에도 효과가 있다”고 덧붙였다.
SK하이닉스 관계자는 "내부적으로는 테스트에 활용하고 있지만 본격적인 상용화까지는 시간이 더 필요하다"며 "온디바이스(On-device) AI용으로 스마트폰 등에 탑재되는 시점은 빠르면 3년 이내로 예상하고 있으며 데이터센터용 상용화는 그보다 다소 더 걸릴 것”이라고 덧붙였다.
◆ CXL 풀드 메모리, 서버 간 데이터 공유로 병목 해소
여러 개의 CXL 메모리를 묶은 CXL 풀드 메모리도 전시됐다. 기존에는 네트워크 카드와 케이블을 통해 서버 간 데이터를 주고받았지만, 이번 기술은 메모리 디바이스를 매개로 여러 서버를 직접 연결해 데이터 전송 경로를 단축했다. 복잡한 네트워크 과정을 거치지 않아 지연시간이 크게 줄었다.
SK하이닉스 관계자는 "AI 인퍼런싱(추론) 과정에서 가장 중요한 요소 중 하나는 서버 간 데이터가 오가는 속도"라며 "이 디바이스를 활용하면 서버 간 데이터 전송 구간에서 발생하는 병목 현상을 크게 줄일 수 있다"고 말했다. 또 "기존 네트워크 장비는 단순히 데이터를 보내는 역할만 하지만 이번 메모리 디바이스는 공통 데이터를 내부에 저장해 여러 서버가 동시에 공유할 수 있고 불필요한 데이터 복제나 전송을 최소화해 전체적인 처리 효율과 성능을 향상시킬 수 있다"고 덧붙였다.
이어 “엔비디아 오픈소스에 적용해 다른 소프트웨어도 쉽게 연동할 수 있음을 보여줬다"며 “누구나 필요하면 쉽게 가져다 쓸 수 있는 형태의 디바이스로, 개방성과 호환성을 동시에 확보하는 데 중점을 뒀다”고 밝혔다.
