100GbE
Jump to navigation
Jump to search
100GbE
Overview
100GbE/200GbE은 HPC 클러스터용 고속 이더넷 표준. RDMA(RoCE) 지원. InfiniBand 대비 비용 효율적 대안.
Summary
- * 무엇인가? 100/200/400 GbE 고속 이더넷. HPC 네트워크 표준
- * 왜 필요한가? Multi-GPU 통신, 분산 학습, 스토리지 접근
- * 언제 사용하는가? HPC 클러스터, AI 훈련, 스토리지 네트워크
---
Purpose
이 문서가 존재하는 이유
- Goal: 100GbE의 개념, 사용법, 설정 가이드 제공
- Scope: 기본 개념, 설치/설정, 사용 예제, 모범 사례
- Non-goals: 고급 커스터마이징, 내부 소스 코드 분석
---
Key Concepts
---
Architecture
100GbE는 QSFP28 커넥터 사용. 4x 25G lanes. 200GbE는 2x 100G. 400GbE는 QSFP112. RoCE v2로 TCP/IP 없이 RDMA 지원.
---
Workflow
1. 1. 100GbE NIC 설치 (Mellanox/NVIDIA)
2. 2. 스위치 연결 (25G/100G 지원)
3. 3. RoCE 설정 (PFC, ECN)
4. 4. 네트워크 성능 테스트
5. 5. MPI/NCCL 연동
6. 6. 모니터링
---
Configuration
# 100GbE NIC 확인
lspci | grep -i ethernet
# 링크 속도 확인
ethtool eth0 | grep Speed
# RoCE 설정
ethtool --set-ets eth0 pfc 1 0 0 0 0 1 0 0
ethtool --pause eth0 rx on tx on
# 성능 테스트
iperf3 -c server-ip -t 60 -P 8
---
Best Practices
- PFC와 ECN으로 RoCE 설정 필수
- 100GbE+ InfiniBand 하이브리드 구성
- 스위치 25G/100G 지원 확인
- 정기적인 링크 에러 모니터링
---
Limitations
- 100GbE NIC 비용 높음
- 스위치 호환성 확인 필요
- 설정 복잡도 높음
---
References
---