HBM
Jump to navigation
Jump to search
HBM
Overview
HBM(High Bandwidth Memory)는 GPU의 고대역폭 메모리 기술. 3D 적층 구조로 높은 대역폭과 낮은 전력 소비. H100/MI300/X의 핵심 컴포넌트.
Summary
- * 무엇인가? 3D 적층 고대역폭 메모리. GPU 성능의 핵심
- * 왜 필요한가? AI 워크로드는 대용량 데이터 처리. 메모리 대역폭이 병목
- * 언제 사용하는가? H100/MI300/GTX 4090 등 최신 GPU
---
Purpose
이 문서가 존재하는 이유
- Goal: HBM의 개념, 사용법, 설정 가이드 제공
- Scope: 기본 개념, 설치/설정, 사용 예제, 모범 사례
- Non-goals: 고급 커스터마이징, 내부 소스 코드 분석
---
Key Concepts
---
Architecture
HBM은 DRAM 칩을 3D 적층. Logic Die 위에 8-12개 DRAM 칩을 쌓아 대역폭을 극대화. GPU die와 직접 연결. HBM3는 8GB/die, HBM3e는 12-16GB/die 지원.
---
Workflow
1. 1. HBM 칩 설계 (DRAM + Logic Die)
2. 2. 3D 적층 (TSV 기술)
3. 3. GPU die와 직접 연결 (interposer)
4. 4. 테스트 및 검증
5. 5. 모듈 조립 (HBM 모듈 → GPU 카드)
---
Configuration
# HBM 정보 확인 (nvidia-smi)
nvidia-smi --query-gpu=memory.total,memory.used --format=csv
# HBM 대역폭 벤치마킹
gpu-bench --bandwidth
---
Best Practices
- HBM3e로 대역폭 20-30% 향상
- 열 관리 중요 (HBM은 발열이 높음)
- HBM3 80GB → HBM3e 141GB (H200)
- HBM3e 192GB (B100)
---
Limitations
- HBM 칩 단가가 매우 높음
- 생산 수율 문제 (3D 적층)
- DRAM 대비 저장 용량 작음
- 수리 불가 (1회용)
---
References
---