Workload

From HPCWIKI
Revision as of 13:53, 2 October 2026 by Clara (talk | contribs) (리터럴 ** 볼드 마커 제거 (MediaWiki는 ''' 볼드, **는 리터럴))
(diff) ← Older revision | Latest revision (diff) | Newer revision → (diff)
Jump to navigation Jump to search

Overview

서버가 수행하는 업무(Workload)의 유형과 특성, 그리고 AI/ML/LLM 워크로드의 하드웨어·인프라 요구사항을 정리한 기술 문서입니다.

Summary

  • 무엇인가? - 서버 워크로드 유형 분류 및 각 워크로드의 인프라 요구사항 정의
  • 왜 필요한가? - 서버 구매·구축 시 워크로드에 맞는 하드웨어/소프트웨어 스택을 선정하는 기준
  • 언제 사용하는가? - 서버 사양 설계, 냉각 방식 선정, GPU 구성 판단 시

Purpose

  • Goal: 워크로드 유형별 특성 및 인프라 요구사항을 명확히 정의
  • Scope: 일반 서버 워크로드 + AI/ML/LLM 워크로드
  • Non-goals: 개별 소프트웨어 설정 방법, 성능 벤치마크 수치

Key Concepts

Concept Description Related
Workload 서버가 수행하는 업무의 종류와 특성 (CPU, GPU, I/O 사용 패턴) Server Diagnostics
Throughput 단위 시간당 처리량 — 워크로드별 최적화 기준이 다름 Performance benchmarking
Latency 요청에서 응답까지 소요 시간 — 실시간 워크로드에 중요 IPerf3 performance test
Interconnect GPU/노드 간 데이터 전송 경로 (NVLink, InfiniBand, RoCE) NVIDIA GPU

Server Workload Types

Workload Type Description Primary Bottleneck Typical Hardware
Web server HTML/웹앱을 클라이언트에 서빙 CPU / 메모리 8~32코어 CPU, 32~128GB RAM
File server 네트워크 파일을 저장 및 관리 I/O (디스크 대역폭) HDD/SSD 대용량, 10GbE
Database server 데이터베이스 관리 및 쿼리 처리 I/O / 랜덤 접근 NVMe SSD, 고코어 CPU
Email server 메일 계정 관리 및 메시지 전송 CPU / 네트워크 일반 서버 사양
DNS server 도메인명을 IP 주소로 변환 네트워크 (낮은 부하) 저사양 가능
Proxy server 클라이언트 요청을 중계/캐싱하여 원본 서버 부하 분산 CPU / 네트워크 대역폭 고대역 NIC, 고속 스토리지 (캐시)
HPC (고성능 계산) 병렬 수치 계산, 시뮬레이션 CPU 연산 / 메모리 대역폭 AMD EPYC, DDR5, InfiniBand
AI/ML Training 대규모 모델 학습 (GPU 병렬) GPU 연산 / HBM 대역폭 8×H100/H200, NVLink, 400Gbps
AI/ML Inference 학습된 모델 실시간 추론 서빙 GPU 메모리 / KV Cache 1~8×GPU, HBM 40~141GB
LLM Serving 대형 언어 모델 추론 + 긴 컨텍스트 GPU 메모리 (KV Cache) 8×H100/H200, NVLink

AI/ML/LLM Workload

AI/ML/LLM 워크로드는 일반 서버 워크로드와 근본적으로 다른 하드웨어 요구사항을 가집니다. GPU 컴퓨팅, 고대역 메모리(HBM), 고속 인터커넥트가 핵심 변수입니다.

Workload Type 분류

Workload Type 특징 GPU 규모 GPU 메모리 인터커넥트 냉각 요구
AI Training (대규모 학습) 수백~수천 GPU 동시 학습, 수일~수주 8~1024+ (멀티노드) HBM3/HBM3e 80~141GB × GPU 수 NVLink (노드 내) + 400Gbps (노드 간) Cold Plate Liquid cooling 필수
AI Inference (실시간 추론) 낮은 지연시간, 높은 동시 처리 1~8 HBM 40~80GB NVLink (선택) 공냉 또는 Liquid cooling
LLM Pre-training 초대규모, 초장시간 (수주~수개월) 1000+ (멀티노드) HBM3e 141GB × GPU 수 NVLink + 400Gbps InfiniBand Cold Plate Liquid cooling 필수
LLM Inference/Serving 긴 컨텍스트, 높은 토큰 처리량 1~8 HBM 40~141GB (KV Cache 포함) NVLink (선택) 공냉 또는 Liquid cooling
LLM Fine-tuning (LoRA/QLoRA) 저비용 파인튜닝 1~4 24~80GB PCIe 또는 NVLink 공냉 (TDP < 350W)

AI Training Workload

대규모 AI 모델 학습은 가장 높은 하드웨어 요구사항을 가집니다.

  • GPU 구성: 노드당 8개 GPU (DGX/HGX 구성), 수백~수천 노드 스케일
  • GPU 간 통신: 노드 내 NVLink (900GB/s~1.8TB/s), 노드 간 400Gbps InfiniBand 또는 RoCE v2
  • 메모리: GPU별 HBM3/HBM3e 80~141GB — 모델 파라미터 + 옵티마이저 상태(Adam 등) 저장
  • CPU: AMD EPYC 고코어 (CPU 측 I/O·데이터 로딩 병목 방지)
  • 시스템 메모리: 1~4TB DDR5 (데이터 스테이징)
  • 전력: 노드당 10kW+, 랙당 40~60kW
  • 냉각: 700W+ TDP GPU는 공냉 한계 초과 → Cold Plate Liquid cooling (CDU) 필수
  • 네트워킹: RDMA 기반 저지연 통신 (InfiniBand 또는 RoCE)

AI Inference Workload

  • GPU 구성: 1~8개 GPU (모델 크기에 따라)
  • 메모리: KV Cache가 컨텍스트 길이에 비례하여 증가 — 긴 컨텍스트일수록 VRAM 점유 증가
  • 최적화 기법:
 * 양자화 (INT8, FP8, INT4) — 메모리 절감 + 처리량 향상
 * Paged Attention — KV Cache 메모리 단편화 방지
 * Continuous Batching — 동시 요청 효율적 처리
 * Speculative Decoding — 소형 draft 모델로 토큰 예측 후 대형 모델 검증 (처리량 2~3배)
  • 서빙 프레임워크: vLLM, TensorRT-LLM, TGI
  • 핵심 지표:
 * TTFT (Time To First Token) — 첫 토큰 응답 속도
 * TPS (Tokens Per Second) — 지속 생성 속도
 * 동시 요청 처리 수 (concurrency)

LLM 특화 Workload

LLM(대형 언어 모델) 워크로드는 일반 AI 워크로드와 다른 특성을 가집니다.

  • 컨텍스트 윈도우: 32K~1M 토큰 — KV Cache가 GPU VRAM의 주요 점유 요소 (컨텍스트 × 헤드를 배로)
  • MoE (Mixture of Experts): 총 파라미터는 크지만 활성 파라미터는 작음 → 메모리 대비 컴퓨트 효율 향상
  • Tensor Parallelism: 단일 모델 레이어를 여러 GPU에 분할 (NVLink 필수)
  • Pipeline Parallelism: 레이어를 여러 GPU에 순서대로 분할
  • RAG (Retrieval Augmented Generation): 벡터 DB 검색 + LLM 추론 조합 — GPU + 스토리지 혼합 워크로드
  • Fine-tuning 방식:
 * Full Fine-tuning: 전체 파라미터 학습 (GPU 8+ 개)
 * LoRA: 저랭크 어댑터만 학습 (GPU 1~2개)
 * QLoRA: 양자화 + LoRA (GPU 1개, 24GB VRAM)

Hardware Requirements 비교

항목 일반 서버 AI Inference AI/LLM Training
GPU 없음 또는 1개 1~8개 (H100/A100) 8개 × 수백~수천 노드
GPU 메모리 - 40~141GB HBM 80~141GB HBM × GPU 수
GPU 간 인터커넥트 PCIe NVLink (선택) NVLink (노드 내) + 400Gbps (노드 간)
CPU 8~32코어 32~128코어 (AMD EPYC) 128~256코어 (AMD EPYC)
시스템 메모리 64~256GB 256GB~1TB DDR5 1~4TB DDR5
저장소 SATA SSD / HDD NVMe SSD NVMe (모델/체크포인트) + Parallel FS (데이터셋)
랙 전력 2~6kW 8~15kW 40~60kW+
냉각 공냉 공냉 또는 Liquid cooling Cold Plate Liquid cooling (CDU)

Best Practices

  • 워크로드 특성에 맞는 GPU 세대/형상을 선정 (Training: H100/H200/B200, Inference: L40S/A10G)
  • TDP 300W 초과 GPU는 반드시 Liquid cooling 설계
  • 노드 간 통신은 RDMA (InfiniBand 또는 RoCE) — TCP/IP는 지연시간이 높음
  • KV Cache 용량을 컨텍스트 길이에 따라 사전 계산 (GPU VRAM 확보)
  • Fine-tuning은 LoRA/QLoRA로 GPU 요구량을 최소화
  • 냉각 설계 시 전원 배분과 함께 랙 단위 열 부하를 먼저 산정

References

Related Pages

Knowledge Graph

Related

→ NVIDIA GPU → CUDA → NVLink → InfiniBand → HBM → Cold Plate → CDU → Liquid cooling → NCCL → Llama.cpp → Deep Learning Workflow → Performance benchmarking

Retrieved from "http://wiki.hpcmate.com/index.php?title=Workload&oldid=3986"