Spark 구성
개요
배치 모드와 스트리밍 모드 모두에서 읽기 및 쓰기 작업을 구성할 수 있습니다. 사용 가능한 구성 옵션에 대해 자세히 알아보려면 다음 페이지를 참조하세요:
구성 지정
사용 SparkConf
다음 메서드 중 하나를 사용하여 SparkConf 로 구성 옵션을 지정할 수 있습니다:
애플리케이션 의
SparkConf생성자입니다. 학습내용은 Java SparkConf 문서를 참조하세요.
애플리케이션의
SparkConf생성자입니다. 자세한 내용은 Python SparkConf 문서를 참조하세요.
애플리케이션 의
SparkConf생성자입니다. Scala 학습내용은 SparkConf 문서를 참조하세요.
런타임의
--conf플래그입니다. 자세한 내용은 Spark 문서에서 동적으로 Spark 속성 로딩을 참조하세요.$SPARK_HOME/conf/spark-default.conf파일입니다.
MongoDB Spark Connector는 SparkConf의 설정을 기본값으로 사용합니다.
옵션 맵 사용
Spark API에서 DataFrameReader, DataFrameWriter, DataStreamReader 및 DataStreamWriter 클래스는 각각 option() 메서드를 포함합니다. 이 메서드를 사용하여 기본 읽기 또는 쓰기 작업에 대한 옵션을 지정할 수 있습니다.
참고
이러한 방식으로 지정된 옵션은 SparkConf 의 해당 설정을 재정의합니다.
짧은 형식 구문
옵션 맵은 짧은 형식의 구문을 지원합니다. 옵션 키 문자열을 지정할 때 접두사를 생략할 수 있습니다.
예시
다음 구문은 서로 동등한 구문입니다:
dfw.option("spark.mongodb.write.collection", "myCollection").save()dfw.option("spark.mongodb.collection", "myCollection").save()dfw.option("collection", "myCollection").save()
option() 메서드에 대해 자세히 알아보려면 다음 Spark 문서 페이지를 참조하세요:
시스템 속성 사용
Spark Connector는 SparkConf가 사용 가능해지기 전에 일부 구성 설정을 읽습니다. JVM 시스템 속성을 사용하여 이러한 설정을 지정해야 합니다.
Java 시스템 속성에 대한 자세한 내용은 Java 설명서를 참조하세요.
팁
구성 예외
Spark Connector에서 ConfigException이 발생하면, SparkConf 는 옵션 맵이 올바른 구문을 사용하고 유효한 구성 옵션만 포함하고 있는지 확인해야 합니다.