Apache Spark: Difference between revisions
Jump to navigation
Jump to search
(Fix: remove --- horizontal lines (9 removed)) |
(Fix unclosed wikitable: close {|/|} + remove orphan Status; stops sections being swallowed into table) |
||
| (One intermediate revision by the same user not shown) | |||
| Line 1: | Line 1: | ||
== Overview == | == Overview == | ||
| Line 17: | Line 8: | ||
* 왜 필요한가? - HPC 및 서버 환경에서 필수 개념 | * 왜 필요한가? - HPC 및 서버 환경에서 필수 개념 | ||
* 언제 사용하는가? - 서버 구성, 성능 튜닝, 문제 해결 시 | * 언제 사용하는가? - 서버 구성, 성능 튜닝, 문제 해결 시 | ||
== Purpose == | == Purpose == | ||
| Line 26: | Line 16: | ||
* Scope: Apache Spark의 개념, 사용법, 설정 | * Scope: Apache Spark의 개념, 사용법, 설정 | ||
* Non-goals: 다른 주제로의 확장 | * Non-goals: 다른 주제로의 확장 | ||
== Key Concepts == | == Key Concepts == | ||
| Line 39: | Line 28: | ||
| [[Linux]], [[Server]] | | [[Linux]], [[Server]] | ||
|} | |} | ||
== Detailed Explanation == | == Detailed Explanation == | ||
Apache Spark는 UC Berkeley에서 개발한 오픈소스 대규모 데이터 분석, 데이터 과학 및 머신러닝을 위한 다국어 통합 엔진입니다. 단일 노드 머신이나 클러스터에서 실행됩니다. | Apache Spark는 UC Berkeley에서 개발한 오픈소스 대규모 데이터 분석, 데이터 과학 및 머신러닝을 위한 다국어 통합 엔진입니다. 단일 노드 머신이나 클러스터에서 실행됩니다. | ||
* 무엇인가? 대규모 데이터 분석, 데이터 과학, 머신러닝을 위한 다국어 통합 엔진 | * 무엇인가? 대규모 데이터 분석, 데이터 과학, 머신러닝을 위한 다국어 통합 엔진 | ||
| Line 56: | Line 39: | ||
* Scope: Spark 기본 개념, PySpark API, 지원 언어 | * Scope: Spark 기본 개념, PySpark API, 지원 언어 | ||
* Non-goals: Spark 아키텍처 상세, 클러스터 설정 가이드 | * Non-goals: Spark 아키텍처 상세, 클러스터 설정 가이드 | ||
== Best Practices == | == Best Practices == | ||
| Line 68: | Line 44: | ||
* 공식 문서 참고 | * 공식 문서 참고 | ||
* 테스트 환경에서 먼저 검증 | * 테스트 환경에서 먼저 검증 | ||
== References == | == References == | ||
* [https://wiki.hpcmate.com Apache Spark] | * [https://wiki.hpcmate.com Apache Spark] | ||
== Related Pages == | == Related Pages == | ||
| Line 81: | Line 55: | ||
* [[Hardware]] | * [[Hardware]] | ||
* [[Network]] | * [[Network]] | ||
[[Category:Server]] | [[Category:Server]] | ||
Latest revision as of 12:46, 12 October 2026
Overview
Apache Spark에 대한 기술 문서입니다.
Summary
- 무엇인가? - Apache Spark
- 왜 필요한가? - HPC 및 서버 환경에서 필수 개념
- 언제 사용하는가? - 서버 구성, 성능 튜닝, 문제 해결 시
Purpose
이 문서가 존재하는 이유
- Goal: Apache Spark에 대한 기술 정보 제공
- Scope: Apache Spark의 개념, 사용법, 설정
- Non-goals: 다른 주제로의 확장
Key Concepts
| Concept | Description | Related |
|---|---|---|
| Apache Spark | HPC/서버 환경에서 중요한 기술 개념 | Linux, Server |
Detailed Explanation
Apache Spark는 UC Berkeley에서 개발한 오픈소스 대규모 데이터 분석, 데이터 과학 및 머신러닝을 위한 다국어 통합 엔진입니다. 단일 노드 머신이나 클러스터에서 실행됩니다.
- 무엇인가? 대규모 데이터 분석, 데이터 과학, 머신러닝을 위한 다국어 통합 엔진
- 왜 필요한가? 배치 처리, 실시간 분석, 머신러닝, 그래프 처리 등 다양한 워크로드 지원
- 언제 사용하는가? 대용량 데이터 처리, ETL 파이프라인, 실시간 분석, 머신러닝
이 문서가 존재하는 이유
- Goal: Apache Spark의 개념, 주요 기능, PySpark 소개 제공
- Scope: Spark 기본 개념, PySpark API, 지원 언어
- Non-goals: Spark 아키텍처 상세, 클러스터 설정 가이드
Best Practices
- 최신 버전 사용 권장
- 공식 문서 참고
- 테스트 환경에서 먼저 검증
References
Related Pages
Knowledge Graph
Related