Apache Spark: Difference between revisions
Jump to navigation
Jump to search
(Added Knowledge Graph section) |
(Fix: remove --- horizontal lines (9 removed)) |
||
| Line 18: | Line 18: | ||
* 언제 사용하는가? - 서버 구성, 성능 튜닝, 문제 해결 시 | * 언제 사용하는가? - 서버 구성, 성능 튜닝, 문제 해결 시 | ||
== Purpose == | == Purpose == | ||
| Line 28: | Line 27: | ||
* Non-goals: 다른 주제로의 확장 | * Non-goals: 다른 주제로의 확장 | ||
== Key Concepts == | == Key Concepts == | ||
| Line 42: | Line 40: | ||
|} | |} | ||
== Detailed Explanation == | == Detailed Explanation == | ||
| Line 55: | Line 52: | ||
* 왜 필요한가? 배치 처리, 실시간 분석, 머신러닝, 그래프 처리 등 다양한 워크로드 지원 | * 왜 필요한가? 배치 처리, 실시간 분석, 머신러닝, 그래프 처리 등 다양한 워크로드 지원 | ||
* 언제 사용하는가? 대용량 데이터 처리, ETL 파이프라인, 실시간 분석, 머신러닝 | * 언제 사용하는가? 대용량 데이터 처리, ETL 파이프라인, 실시간 분석, 머신러닝 | ||
이 문서가 존재하는 이유 | 이 문서가 존재하는 이유 | ||
* Goal: Apache Spark의 개념, 주요 기능, PySpark 소개 제공 | * Goal: Apache Spark의 개념, 주요 기능, PySpark 소개 제공 | ||
* Scope: Spark 기본 개념, PySpark API, 지원 언어 | * Scope: Spark 기본 개념, PySpark API, 지원 언어 | ||
* Non-goals: Spark 아키텍처 상세, 클러스터 설정 가이드 | * Non-goals: Spark 아키텍처 상세, 클러스터 설정 가이드 | ||
{| class="wikitable" | {| class="wikitable" | ||
! Concept | ! Concept | ||
| Line 67: | Line 62: | ||
|- | |- | ||
== Best Practices == | == Best Practices == | ||
| Line 75: | Line 69: | ||
* 테스트 환경에서 먼저 검증 | * 테스트 환경에서 먼저 검증 | ||
== References == | == References == | ||
| Line 81: | Line 74: | ||
* [https://wiki.hpcmate.com Apache Spark] | * [https://wiki.hpcmate.com Apache Spark] | ||
== Related Pages == | == Related Pages == | ||
| Line 90: | Line 82: | ||
* [[Network]] | * [[Network]] | ||
[[Category:Server]] | [[Category:Server]] | ||
Latest revision as of 11:27, 17 July 2026
Overview
Apache Spark에 대한 기술 문서입니다.
Summary
- 무엇인가? - Apache Spark
- 왜 필요한가? - HPC 및 서버 환경에서 필수 개념
- 언제 사용하는가? - 서버 구성, 성능 튜닝, 문제 해결 시
Purpose
이 문서가 존재하는 이유
- Goal: Apache Spark에 대한 기술 정보 제공
- Scope: Apache Spark의 개념, 사용법, 설정
- Non-goals: 다른 주제로의 확장
Key Concepts
| Concept | Description | Related |
|---|---|---|
| Apache Spark | HPC/서버 환경에서 중요한 기술 개념 | Linux, Server |
Detailed Explanation
|status=Draft |owner=Knowledge Agent |last_update=2026-07-16 |review=Pending }} Apache Spark는 UC Berkeley에서 개발한 오픈소스 대규모 데이터 분석, 데이터 과학 및 머신러닝을 위한 다국어 통합 엔진입니다. 단일 노드 머신이나 클러스터에서 실행됩니다.
- 무엇인가? 대규모 데이터 분석, 데이터 과학, 머신러닝을 위한 다국어 통합 엔진
- 왜 필요한가? 배치 처리, 실시간 분석, 머신러닝, 그래프 처리 등 다양한 워크로드 지원
- 언제 사용하는가? 대용량 데이터 처리, ETL 파이프라인, 실시간 분석, 머신러닝
이 문서가 존재하는 이유
- Goal: Apache Spark의 개념, 주요 기능, PySpark 소개 제공
- Scope: Spark 기본 개념, PySpark API, 지원 언어
- Non-goals: Spark 아키텍처 상세, 클러스터 설정 가이드
Best Practices
- 최신 버전 사용 권장
- 공식 문서 참고
- 테스트 환경에서 먼저 검증
References
Related Pages
Knowledge Graph
Related
→ Linux → Server → Hardware → Network
| Concept | Description | Related |
|---|