스트리밍 쓰기 구성 옵션
이 페이지의 내용
개요
스트리밍 모드에서 MongoDB에 데이터를 쓸 때 다음 속성을 구성할 수 있습니다.
참고
SparkConf를 사용하여 connector의 쓰기 구성을 설정하는 경우 각 속성 앞에 spark.mongodb.write.를 접두사로 붙입니다.
속성 이름 | 설명 |
|---|---|
connection.uri | Required. The connection string configuration key. Default: mongodb://localhost:27017/ |
database | Required. The database name configuration. |
collection | Required. The collection name configuration. |
comment | The comment to append to the write operation. Comments appear in the
output of the Database Profiler. Default: None |
mongoClientFactory | MongoClientFactory configuration key. You can specify a custom implementation that must implement the
com.mongodb.spark.sql.connector.connection.MongoClientFactory
interface.Default: com.mongodb.spark.sql.connector.connection.DefaultMongoClientFactory |
checkpointLocation | The absolute file path of the directory to which the connector writes checkpoint
information. For more information about checkpoints, see the
Spark Structured Streaming Programming Guide Default: None |
forceDeleteTempCheckpointLocation | A Boolean value that specifies whether to delete existing checkpoint data. Default: false |
다음에서 속성 지정 connection.uri
SparkConf 를 사용하여 이전 설정을 지정하는 경우 connection.uri 설정에 포함하거나 개별적으로 나열할 수 있습니다.
다음 코드 예시에서는 데이터베이스, 컬렉션, convertJson 설정을 connection.uri 설정의 일부로 지정하는 방법을 보여줍니다.
spark.mongodb.write.connection.uri=mongodb://127.0.0.1/myDB.myCollection?convertJson=any
connection.uri를 더 짧게 유지하고 설정을 더 읽기 쉽게 만들려면 대신 개별적으로 지정할 수 있습니다.
spark.mongodb.write.connection.uri=mongodb://127.0.0.1/ spark.mongodb.write.database=myDB spark.mongodb.write.collection=myCollection spark.mongodb.write.convertJson=any
중요
connection.uri 및 해당 줄 모두에 설정을 지정하면 connection.uri 설정이 우선 적용됩니다. 예를 들어 다음 구성에서 연결 데이터베이스는 foobar입니다.
spark.mongodb.write.connection.uri=mongodb://127.0.0.1/foobar spark.mongodb.write.database=bar