InfiniBand
Jump to navigation
Jump to search
InfiniBand
Overview
InfiniBand(IB)는 HPC 클러스터용 초고속 네트워크 기술. RDMA(Remote Direct Memory Access) 지원으로 CPU 부하 없이 메모리 간 직접 데이터 전송. 400Gb/s까지 지원.
Summary
- * 무엇인가? HPC 클러스터용 초고속 네트워크. RDMA 지원
- * 왜 필요한가? GPU 간 통신 지연 최소화. 분산 학습 속도↑
- * 언제 사용하는가? Multi-GPU 서버, HPC 클러스터, AI 훈련
---
Purpose
이 문서가 존재하는 이유
- Goal: InfiniBand의 개념, 사용법, 설정 가이드 제공
- Scope: 기본 개념, 설치/설정, 사용 예제, 모범 사례
- Non-goals: 고급 커스터마이징, 내부 소스 코드 분석
---
Key Concepts
---
Architecture
InfiniBand는 Switch Fabric 구조. 각 노드가 IB 카드(HCA)로 스위치에 연결. Non-blocking 스위치로 모든 포트가 동시 통신 가능. RDMA로 원격 메모리에 직접 접근.
---
Workflow
1. 1. IB 카드(HCA) 설치 (NVIDIA/Mellanox)
2. 2. IB 스위치 연결 및 설정
3. 3. ibstat/ibv_devinfo로 상태 확인
4. 4. OpenMPI 또는 NCCL 연동
5. 5. 성능 테스트 (ib_write_bw, ib_send_lat)
6. 6. 모니터링 (IB 스위치 포트 통계)
---
Configuration
{config_code}---
Best Practices
- IB 카드와 스위치는 동일 세대 사용 (NDR/NDR 등)
- Non-blocking 스위치로 모든 포트 동시 통신 보장
- RDMA 설정: ibv_reg_mr, ibv_post_send
- NCCL_IB_DISABLE=0으로 IB 사용 강제
- 정기적인 IB 링크 에러 확인 (Counter 업데이트)
---
Limitations
- Ethernet 대비 비용 높음 (카드, 스위치, 케이블)
- 설정 복잡도 높음 (IB subnet manager)
- 일부 클라우드에서 지원 제한
---
References
---