Docs 菜单
Docs 主页
/
Spark Connector
/ /

流式写入配置选项

在此页面上

  • Overview
  • 指定属性,在 connection.uri

以流式传输模式向 MongoDB 写入数据时,可以配置以下属性。

注意

如果您使用 SparkConf 设置连接器的写入配置,请为每个属性添加前缀 spark.mongodb.write.

属性名称
说明
connection.uri
Required.
The connection string configuration key.

Default: mongodb://localhost:27017/
database
Required.
The database name configuration.
collection
Required.
The collection name configuration.
comment
The comment to append to the write operation. Comments appear in the output of the Database Profiler.

Default: None
mongoClientFactory
MongoClientFactory configuration key.
You can specify a custom implementation that must implement the com.mongodb.spark.sql.connector.connection.MongoClientFactory interface.

Default: com.mongodb.spark.sql.connector.connection.DefaultMongoClientFactory
checkpointLocation
The absolute file path of the directory to which the connector writes checkpoint information.


Default: None
forceDeleteTempCheckpointLocation
A Boolean value that specifies whether to delete existing checkpoint data.

Default: false

如果您使用 SparkConf指定以前的任何设置,则可以将它们包含在connection.uri设置中或单独列出。

以下代码示例显示如何将数据库、集合和 convertJson 设置指定为 connection.uri 设置的一部分:

spark.mongodb.write.connection.uri=mongodb://127.0.0.1/myDB.myCollection?convertJson=any

为了缩短 connection.uri 并使设置更易于阅读,您可以改为单独指定它们:

spark.mongodb.write.connection.uri=mongodb://127.0.0.1/
spark.mongodb.write.database=myDB
spark.mongodb.write.collection=myCollection
spark.mongodb.write.convertJson=any

重要

如果您在 connection.uri 及其自己的行中都指定了某个设置,则 connection.uri 设置优先。例如,在以下配置中,连接数据库为 foobar

spark.mongodb.write.connection.uri=mongodb://127.0.0.1/foobar
spark.mongodb.write.database=bar

后退

以流媒体模式写入 MongoDB