Apache Spark
Jump to navigation
Jump to search
Overview
Apache Spark에 대한 기술 문서입니다.
Summary
- 무엇인가? - Apache Spark
- 왜 필요한가? - HPC 및 서버 환경에서 필수 개념
- 언제 사용하는가? - 서버 구성, 성능 튜닝, 문제 해결 시
---
Purpose
이 문서가 존재하는 이유
- Goal: Apache Spark에 대한 기술 정보 제공
- Scope: Apache Spark의 개념, 사용법, 설정
- Non-goals: 다른 주제로의 확장
---
Key Concepts
| Concept | Description | Related |
|---|---|---|
| Apache Spark | HPC/서버 환경에서 중요한 기술 개념 | Linux, Server |
---
Detailed Explanation
|status=Draft |owner=Knowledge Agent |last_update=2026-07-16 |review=Pending }} Apache Spark는 UC Berkeley에서 개발한 오픈소스 대규모 데이터 분석, 데이터 과학 및 머신러닝을 위한 다국어 통합 엔진입니다. 단일 노드 머신이나 클러스터에서 실행됩니다.
- 무엇인가? 대규모 데이터 분석, 데이터 과학, 머신러닝을 위한 다국어 통합 엔진
- 왜 필요한가? 배치 처리, 실시간 분석, 머신러닝, 그래프 처리 등 다양한 워크로드 지원
- 언제 사용하는가? 대용량 데이터 처리, ETL 파이프라인, 실시간 분석, 머신러닝
--- 이 문서가 존재하는 이유
- Goal: Apache Spark의 개념, 주요 기능, PySpark 소개 제공
- Scope: Spark 기본 개념, PySpark API, 지원 언어
- Non-goals: Spark 아키텍처 상세, 클러스터 설정 가이드
---
---Best Practices
- 최신 버전 사용 권장
- 공식 문서 참고
- 테스트 환경에서 먼저 검증
---
References
---
Related Pages
---
Knowledge Graph
Related
→ Linux → Server → Hardware → Network
| Concept | Description | Related |
|---|