Página inicial do Docs → Visualizar & analisar dados → Conector do Spark
Opções de configuração de gravação de streaming
Visão geral
Você pode configurar as seguintes propriedades ao gravar dados no MongoDB no modo de streaming.
Observação
Se você usa o SparkConf para definir as configurações de gravação do conector, insira spark.mongodb.write. como prefixo em cada propriedade.
Nome da propriedade | Descrição |
|---|---|
connection.uri | Required. The connection string configuration key. Default: mongodb://localhost:27017/ |
database | Required. The database name configuration. |
collection | Required. The collection name configuration. |
comment | The comment to append to the write operation. Comments appear in the
output of the Database Profiler. Default: None |
mongoClientFactory | MongoClientFactory configuration key. You can specify a custom implementation that must implement the
com.mongodb.spark.sql.connector.connection.MongoClientFactory
interface.Default: com.mongodb.spark.sql.connector.connection.DefaultMongoClientFactory |
checkpointLocation | The absolute file path of the directory to which the connector writes checkpoint
information. For more information about checkpoints, see the
Spark Structured Streaming Programming Guide Default: None |
forceDeleteTempCheckpointLocation | A Boolean value that specifies whether to delete existing checkpoint data. Default: false |
Especificando propriedades em connection.uri
Se você usa SparkConf para especificar qualquer uma das configurações anteriores, você poderá incluí-las na configuração do connection.uri ou listá-las individualmente.
O exemplo de código a seguir mostra como especificar o banco de dados, a coleção e a configuração convertJson como parte da configuração connection.uri:
spark.mongodb.write.connection.uri=mongodb://127.0.0.1/myDB.myCollection?convertJson=any
Para manter o connection.uri curto e facilitar a leitura das configurações, você pode especificá-las individualmente:
spark.mongodb.write.connection.uri=mongodb://127.0.0.1/ spark.mongodb.write.database=myDB spark.mongodb.write.collection=myCollection spark.mongodb.write.convertJson=any
Importante
Se você especificar uma configuração em connection.uri e em sua própria linha, a configuração connection.uri terá precedência. Por exemplo, na configuração abaixo, o banco de dados de conexão é foobar:
spark.mongodb.write.connection.uri=mongodb://127.0.0.1/foobar spark.mongodb.write.database=bar