Lustre
Jump to navigation
Jump to search
Lustre
Overview
Lustre는 OSS(Open Source Storage)가 개발한 분산 파일 시스템. HPC 클러스터 스토리지 표준. 10PB+ 지원.
Summary
- * 무엇인가? HPC 분산 파일 시스템. 10PB+ 지원
- * 왜 필요한가? 대규모 데이터 처리. HPC 스토리지 표준
- * 언제 사용하는가? HPC 클러스터, AI 훈련 데이터, 시뮬레이션
---
Purpose
이 문서가 존재하는 이유
- Goal: Lustre의 개념, 사용법, 설정 가이드 제공
- Scope: 기본 개념, 설치/설정, 사용 예제, 모범 사례
- Non-goals: 고급 커스터마이징, 내부 소스 코드 분석
---
Key Concepts
---
Architecture
Lustre는 MDS(메타데이터) + OSS(데이터) 아키텍처. MDS가 파일 이름, 크기, 권한 관리. OSS가 실제 데이터 블록 저장. 클라이언트가 MDS/OSS에 직접 접근.
---
Workflow
1. 1. Lustre 서버 설치 (MDS + OSS)
2. 2. 파일시스템 생성 (mkfs.lustre)
3. 3. 클라이언트 마운트
4. 4. 성능 튜닝
5. 5. 모니터링
---
Configuration
# Lustre 파일시스템 생성
mkfs.lustre --mdt --mgs /dev/sdb1
mkfs.lustre --ost --fsname=hpcfs /dev/sdc1
# 마운트
sudo mount -t lustre mds-ip:/hpcfs /mnt/lustre
# 상태 확인
lfs df
lfs statfs
---
Best Practices
- MDS/OSS 분리 구성
- 스트라이프 크기 워크로드에 맞게 설정
- 정기적인 OST 상태 확인
- Lustre 2.12+ 사용
---
Limitations
- 설정 복잡도 높음
- 메타데이터 병목 가능
- 소규모 워크로드는 Glusterfs/NFS 권장
---
References
---