流式写入配置选项
Overview
以流式传输模式向 MongoDB 写入数据时,可以配置以下属性。
注意
如果您使用 SparkConf
设置连接器的写入配置,请为每个属性添加前缀 spark.mongodb.write.
。
属性名称 | 说明 |
---|---|
connection.uri | Required. The connection string configuration key. Default: mongodb://localhost:27017/ |
database | Required. The database name configuration. |
collection | Required. The collection name configuration. |
comment | The comment to append to the write operation. Comments appear in the
output of the Database Profiler. Default: None |
mongoClientFactory | MongoClientFactory configuration key. You can specify a custom implementation that must implement the
com.mongodb.spark.sql.connector.connection.MongoClientFactory
interface.Default: com.mongodb.spark.sql.connector.connection.DefaultMongoClientFactory |
checkpointLocation | The absolute file path of the directory to which the connector writes checkpoint
information. For more information about checkpoints, see the
Spark Structured Streaming Programming Guide Default: None |
forceDeleteTempCheckpointLocation | A Boolean value that specifies whether to delete existing checkpoint data. Default: false |
指定属性,在 connection.uri
如果您使用 SparkConf指定以前的任何设置,则可以将它们包含在connection.uri
设置中或单独列出。
以下代码示例显示如何将数据库、集合和 convertJson
设置指定为 connection.uri
设置的一部分:
spark.mongodb.write.connection.uri=mongodb://127.0.0.1/myDB.myCollection?convertJson=any
为了缩短 connection.uri
并使设置更易于阅读,您可以改为单独指定它们:
spark.mongodb.write.connection.uri=mongodb://127.0.0.1/ spark.mongodb.write.database=myDB spark.mongodb.write.collection=myCollection spark.mongodb.write.convertJson=any
重要
如果您在 connection.uri
及其自己的行中都指定了某个设置,则 connection.uri
设置优先。例如,在以下配置中,连接数据库为 foobar
:
spark.mongodb.write.connection.uri=mongodb://127.0.0.1/foobar spark.mongodb.write.database=bar