> ## Documentation Index
> Fetch the complete documentation index at: https://private-7c7dfe99-home-button.mintlify.site/llms.txt
> Use this file to discover all available pages before exploring further.

> Apache Spark와 ClickHouse 개요

# Apache Spark와 ClickHouse 통합

export const ClickHouseSupportedBadge = () => {
  return <div className="ClickHouseSupportedBadge">
            <div className="ClickHouseSupportedIcon">
                <svg width="16" height="16" viewBox="0 0 16 16" fill="none" xmlns="http://www.w3.org/2000/svg">
                    <path d="M1.30762 1.39073C1.30762 1.3103 1.37465 1.22986 1.46849 1.22986H2.64824C2.72868 1.22986 2.80912 1.29689 2.80912 1.39073V14.4886C2.80912 14.5691 2.74209 14.6495 2.64824 14.6495H1.46849C1.38805 14.6495 1.30762 14.5825 1.30762 14.4886V1.39073Z" fill="currentColor" />
                    <path d="M4.2832 1.39073C4.2832 1.3103 4.35023 1.22986 4.44408 1.22986H5.62383C5.70427 1.22986 5.7847 1.29689 5.7847 1.39073V14.4886C5.7847 14.5691 5.71767 14.6495 5.62383 14.6495H4.44408C4.36364 14.6495 4.2832 14.5825 4.2832 14.4886V1.39073Z" fill="currentColor" />
                    <path d="M7.25977 1.39073C7.25977 1.3103 7.3268 1.22986 7.42064 1.22986H8.60039C8.68083 1.22986 8.76127 1.29689 8.76127 1.39073V14.4886C8.76127 14.5691 8.69423 14.6495 8.60039 14.6495H7.42064C7.3402 14.6495 7.25977 14.5825 7.25977 14.4886V1.39073Z" fill="currentColor" />
                    <path d="M10.2354 1.39073C10.2354 1.3103 10.3024 1.22986 10.3962 1.22986H11.576C11.6564 1.22986 11.7369 1.29689 11.7369 1.39073V14.4886C11.7369 14.5691 11.6698 14.6495 11.576 14.6495H10.3962C10.3158 14.6495 10.2354 14.5825 10.2354 14.4886V1.39073Z" fill="currentColor" />
                    <path d="M13.2256 6.6057C13.2256 6.52526 13.2926 6.44482 13.3865 6.44482H14.5662C14.6466 6.44482 14.7271 6.51186 14.7271 6.6057V9.27354C14.7271 9.35398 14.6601 9.43442 14.5662 9.43442H13.3865C13.306 9.43442 13.2256 9.36739 13.2256 9.27354V6.6057Z" fill="currentColor" />
                </svg>
            </div>
            ClickHouse Supported
        </div>;
};

[Apache Spark](https://spark.apache.org/)는 단일 노드 시스템 또는 클러스터에서 데이터 엔지니어링, 데이터
사이언스, 머신 러닝 작업을 수행할 수 있는 다중 언어 엔진입니다.

Apache Spark와 ClickHouse를 연결하는 주요 방법은 두 가지입니다.

1. [Spark Connector](/ko/integrations/connectors/data-ingestion/apache-spark/spark-native-connector) - Spark connector는 `DataSourceV2`를 구현하며 자체 Catalog
   관리 기능을 제공합니다. 현재 ClickHouse와 Spark를 통합하는 데 권장되는 방식입니다.
2. [Spark JDBC](/ko/integrations/connectors/data-ingestion/apache-spark/spark-jdbc) - [JDBC 데이터 소스](https://spark.apache.org/docs/latest/sql-data-sources-jdbc.html)를 사용해 Spark와 ClickHouse를
   통합합니다.

<br />

두 솔루션 모두 성공적으로 테스트되었으며, Java, Scala, PySpark, Spark SQL을 포함한 다양한 API와 완벽하게 호환됩니다.

<div id="spark-runtime-environment">
  ### Spark 런타임 환경
</div>

<div id="standard-spark-runtime">
  #### 표준 Spark 런타임
</div>

Spark Connector는 Amazon EMR이나 Kubernetes 기반 Spark 배포 환경처럼 업스트림 Apache Spark 런타임을 충실히 따르는 환경에서 별도의 추가 설정 없이 바로 작동합니다.

<div id="managed-spark-platforms">
  #### 관리형 Spark 플랫폼
</div>

[AWS Glue](/ko/integrations/connectors/data-ingestion/AWS/glue) 및 [Databricks](/ko/integrations/connectors/data-ingestion/apache-spark/databricks)와 같은 플랫폼은 추가 추상화 계층과 환경별 동작 방식을 제공합니다.
핵심 통합 방식은 동일하지만, 별도의 구성과 설정 단계가 필요할 수 있습니다. 자세한 내용은 각 문서 페이지를 참조하십시오.