Apache Spark: Difference between revisions

From HPCWIKI
Jump to navigation Jump to search
(Add categories: Network, Reference)
(Fix: remove --- horizontal lines (9 removed))
 
(3 intermediate revisions by the same user not shown)
Line 1: Line 1:
== Apache Spark ==
{{Status
Apache Spark<ref>https://spark.apache.org/</ref> is an open-source developed at UC Berkeley in Scala,  Spark is a multi-language unified engine for large-scale data analytics, data science, and machine learning on single-node machines or clusters.
|status=Draft
|owner=Knowledge Agent
|last_update=2026-07-16
|review=Pending
}}


Spark can easily [[support]] multiple workloads ranging from batch processing, interactive querying, real-time analytics to machine learning and graph processing. Unlike many other platforms with limited options or requiring users to learn a platform-specific language, Spark supports all leading data analytics languages such as R, SQL, Python, Scala, and Java.
{{TOC}}


== PySpark ==
== Overview ==
The Spark Python API (PySpark) exposes the Spark programming model to Python. PySpark supports most Apache Spark features such as Spark SQL, DataFrame, MLib, Spark Core, and Streaming. PySpark allows users to write Spark applications using the Python API and provides the ability to interface with the Resilient Distributed Datasets (RDDs) in Apache Spark. PySpark also allows Python to interface with JVM objects using the Py4J [[library]].


Apache Spark에 대한 기술 문서입니다.
=== Summary ===
* 무엇인가? - Apache Spark
* 왜 필요한가? - HPC 및 서버 환경에서 필수 개념
* 언제 사용하는가? - 서버 구성, 성능 튜닝, 문제 해결 시
== Purpose ==
이 문서가 존재하는 이유
* Goal: Apache Spark에 대한 기술 정보 제공
* Scope: Apache Spark의 개념, 사용법, 설정
* Non-goals: 다른 주제로의 확장
== Key Concepts ==
{| class="wikitable"
! Concept
! Description
! Related
|-
| Apache Spark
| HPC/서버 환경에서 중요한 기술 개념
| [[Linux]], [[Server]]
|}
== Detailed Explanation ==
|status=Draft
|owner=Knowledge Agent
|last_update=2026-07-16
|review=Pending
}}
Apache Spark는 UC Berkeley에서 개발한 오픈소스 대규모 데이터 분석, 데이터 과학 및 머신러닝을 위한 다국어 통합 엔진입니다. 단일 노드 머신이나 클러스터에서 실행됩니다.
* 무엇인가? 대규모 데이터 분석, 데이터 과학, 머신러닝을 위한 다국어 통합 엔진
* 왜 필요한가? 배치 처리, 실시간 분석, 머신러닝, 그래프 처리 등 다양한 워크로드 지원
* 언제 사용하는가? 대용량 데이터 처리, ETL 파이프라인, 실시간 분석, 머신러닝
이 문서가 존재하는 이유
* Goal: Apache Spark의 개념, 주요 기능, PySpark 소개 제공
* Scope: Spark 기본 개념, PySpark API, 지원 언어
* Non-goals: Spark 아키텍처 상세, 클러스터 설정 가이드
{| class="wikitable"
! Concept
! Description
! Related
|-
== Best Practices ==
* 최신 버전 사용 권장
* 공식 문서 참고
* 테스트 환경에서 먼저 검증


[https://annefou.github.io/pyspark/ This site] introduce basic Big data analysis using PySpark


== References ==
== References ==
<references />
 
[[Category:Network]]
* [https://wiki.hpcmate.com Apache Spark]
 
 
== Related Pages ==
 
* [[Linux]]
* [[Server]]
* [[Hardware]]
* [[Network]]
 
 
[[Category:Server]]
== Knowledge Graph ==
 
Related
 
→ [[Linux]]
→ [[Server]]
→ [[Hardware]]
→ [[Network]]


[[Category:Reference]]
[[Category:Reference]]

Latest revision as of 11:27, 17 July 2026

Template:Status

Template:TOC

Overview

Apache Spark에 대한 기술 문서입니다.

Summary

  • 무엇인가? - Apache Spark
  • 왜 필요한가? - HPC 및 서버 환경에서 필수 개념
  • 언제 사용하는가? - 서버 구성, 성능 튜닝, 문제 해결 시


Purpose

이 문서가 존재하는 이유

  • Goal: Apache Spark에 대한 기술 정보 제공
  • Scope: Apache Spark의 개념, 사용법, 설정
  • Non-goals: 다른 주제로의 확장


Key Concepts

Concept Description Related
Apache Spark HPC/서버 환경에서 중요한 기술 개념 Linux, Server


Detailed Explanation

|status=Draft |owner=Knowledge Agent |last_update=2026-07-16 |review=Pending }} Apache Spark는 UC Berkeley에서 개발한 오픈소스 대규모 데이터 분석, 데이터 과학 및 머신러닝을 위한 다국어 통합 엔진입니다. 단일 노드 머신이나 클러스터에서 실행됩니다.

  • 무엇인가? 대규모 데이터 분석, 데이터 과학, 머신러닝을 위한 다국어 통합 엔진
  • 왜 필요한가? 배치 처리, 실시간 분석, 머신러닝, 그래프 처리 등 다양한 워크로드 지원
  • 언제 사용하는가? 대용량 데이터 처리, ETL 파이프라인, 실시간 분석, 머신러닝

이 문서가 존재하는 이유

  • Goal: Apache Spark의 개념, 주요 기능, PySpark 소개 제공
  • Scope: Spark 기본 개념, PySpark API, 지원 언어
  • Non-goals: Spark 아키텍처 상세, 클러스터 설정 가이드

Best Practices

  • 최신 버전 사용 권장
  • 공식 문서 참고
  • 테스트 환경에서 먼저 검증


References


Related Pages

Knowledge Graph

Related

→ Linux → Server → Hardware → Network

Concept Description Related
Retrieved from "http://wiki.hpcmate.com/index.php?title=Apache_Spark&oldid=3244"