Docs Home → 보기 & 데이터 분석 → Spark 커넥터
Spark 구성
개요
배치 모드와 스트리밍 모드 모두에서 읽기 및 쓰기 작업을 구성할 수 있습니다. 사용 가능한 구성 옵션에 대해 자세히 알아보려면 다음 페이지를 참조하세요:
구성 지정
사용 SparkConf
다음 메서드 중 하나를 사용하여 SparkConf 로 구성 옵션을 지정할 수 있습니다:
런타임 시
--conf플래그입니다. 학습 내용은동적으로 Spark 속성 로드 를 참조하세요. Spark 문서에서 확인할 수 있습니다.$SPARK_HOME/conf/spark-default.conf파일입니다.
MongoDB Spark Connector는 SparkConf의 설정을 기본값으로 사용합니다.
옵션 맵 사용
Spark API에서 DataFrameReader, DataFrameWriter, DataStreamReader 및 DataStreamWriter 클래스는 각각 option() 메서드를 포함합니다. 이 메서드를 사용하여 기본 읽기 또는 쓰기 작업에 대한 옵션을 지정할 수 있습니다.
참고
이러한 방식으로 지정된 옵션은 SparkConf 의 해당 설정을 재정의합니다.
짧은 형식 구문
옵션 맵은 짧은 형식의 구문을 지원합니다. 옵션 키 문자열을 지정할 때 접두사를 생략할 수 있습니다.
예시
다음 구문은 서로 동등한 구문입니다:
dfw.option("spark.mongodb.write.collection", "myCollection").save()dfw.option("spark.mongodb.collection", "myCollection").save()dfw.option("collection", "myCollection").save()
option() 메서드에 대해 자세히 알아보려면 다음 Spark 문서 페이지를 참조하세요:
시스템 속성 사용
Spark Connector는 SparkConf가 사용 가능해지기 전에 일부 구성 설정을 읽습니다. JVM 시스템 속성을 사용하여 이러한 설정을 지정해야 합니다.
For more information on Java system properties, see the Java documentation.
팁
구성 예외
Spark Connector에서 ConfigException이 발생하면, SparkConf 는 옵션 맵이 올바른 구문을 사용하고 유효한 구성 옵션만 포함하고 있는지 확인해야 합니다.