2025 AI 메모리 계층 구조:
HBM, 그리고 HBF의 부상
데이터 병목을 해결하는 피라미드 구조와 핵심 수혜 기업 완벽 정리
AI 모델이 거대해질수록 연산 속도보다 중요한 것은 ‘데이터를 얼마나 빨리, 효율적으로 나르는가’입니다. 2025년 AI 시스템은 단순한 저장을 넘어, 속도와 용량의 딜레마를 해결하기 위해 더욱 세분화된 계층 구조를 갖추게 되었습니다. 특히 HBM의 용량 한계를 극복할 HBF(High Bandwidth Flash) 영역이 새로운 격전지로 떠오르고 있습니다.
1. AI 메모리 계층 구조 핵심 요약
피라미드의 최상단은 ‘초고속/소용량’을, 하단은 ‘저속/대용량’을 의미합니다. 각 계층은 데이터의 병목을 최소화하기 위해 유기적으로 연결됩니다.
- GPU, 스레드, SM: 실제 연산이 일어나는 코어입니다.
- 레지스터 (L1 캐시): 코어와 가장 가까운 초고속 임시 저장소입니다.
- SRAM, 공유 메모리 (L2 캐시): 데이터 재사용을 극대화하는 고속 버퍼입니다.
- HBM (고대역폭 저지연 DRAM): AI 가속기의 핵심입니다. 대역폭(도로 폭)을 획기적으로 넓혀 데이터를 쏟아붓습니다.
- HBF (고대역폭 NAND 플래시): DRAM과 저장장치 사이의 간극을 메우는 새로운 계층입니다. 빠른 응답속도의 낸드 플래시가 HBM을 보조합니다.
- 네트워크 스토리지 (CXL, PCIe 기반): 확장성을 위한 대용량 저장 공간입니다.
- 데이터 센터 수준 팩토리: 페타바이트급 이상의 데이터를 보관하는 최하단 인프라입니다.
2. HBM과 HBF: 실질적 역할과 차이
🚀 HBM (Sprint)
“즉각적인 연산 데이터 공급”
GPU 바로 옆에 붙어 초광대역 도로를 제공합니다. 속도는 압도적이지만 용량 대비 가격이 매우 비싸고 전력 소모가 큽니다.
🌉 HBF (Marathon)
“HBM을 위한 대용량 캐시”
일반 SSD보다 월등히 빠르며 HBM의 부족한 용량을 보조합니다. 거대 모델의 파라미터를 저장해두었다가 필요할 때 빠르게 HBM으로 쏘아주는 ‘중간 기지’ 역할을 수행합니다.
3. 계층별 핵심 관련 기업 (Top 3)
HBF의 부상으로 스토리지 기업들의 재평가가 이루어지고 있습니다. 각 계층의 지배적인 기업들을 확인하세요.
- NVIDIA (NVDA): AI 칩셋 시장 독점적 지위
- TSMC (TSM): AI 반도체 생산의 핵심 파운드리
- AMD (AMD): 엔비디아의 유일한 대항마
- SK하이닉스 (000660): HBM 기술력 및 점유율 세계 1위
- 삼성전자 (005930): 턴키 공급 및 차세대 HBM4 개발
- Micron (MU): HBM3E 양산으로 경쟁 합류
- Western Digital (WDC): (SanDisk 모회사)
AI 데이터 사이클을 위한 고성능 낸드 솔루션 주도 - SK하이닉스/솔리다임:
AI용 초고용량(60TB+) 엔터프라이즈 SSD 강자 - Pure Storage (PSTG):
올플래시 기반의 고속 데이터 스토리지 전문
4. HBF(High Bandwidth Flash)의 전망
“HBF는 선택이 아닌 필수가 될 것입니다.”
AI 모델은 LLM(거대 언어 모델)을 넘어 LMM(거대 멀티모달 모델)으로 진화하고 있습니다. 수조 개의 파라미터를 가진 모델을 전부 비싼 HBM에 올리는 것은 비용적으로 불가능에 가깝습니다.
따라서 ‘용량 대비 성능비’가 뛰어난 HBF(고성능 낸드)가 AI 추론(Inference) 시장의 핵심 인프라로 자리 잡을 것입니다. 특히 Western Digital(SanDisk)과 같은 기업들이 주도하는 고성능 스토리지 솔루션은 HBM의 용량 한계를 극복하고 AI 운영 비용(TCO)을 낮추는 핵심 열쇠가 될 것입니다.