Configuração do Spark
Nesta página
Visão geral
Você pode configurar operações de leitura e gravação em modo lote e streaming. Para saber mais sobre as opções de configuração disponíveis, consulte as seguintes páginas:
Especificar configuração
Usando SparkConf
Você pode especificar opções de configuração com SparkConf utilizando qualquer uma das seguintes abordagens:
O construtor do
SparkConfem seu aplicação. Para saber mais, consulte a documentação do Java SparkConf.
O construtor do
SparkConfem seu aplicativo. Para saber mais, consulte a documentação Python SparkConf.
O construtor do
SparkConfem seu aplicativo. Para saber mais, consulte a documentação Scala SparkConf.
A bandeira
--confno tempo de execução. Para saber mais, consulte Carregar propriedades Spark dinamicamente na documentação do Spark.O arquivo
$SPARK_HOME/conf/spark-default.conf.
O conector Spark MongoDB utilizará as configurações em SparkConf como padrões.
Utilizando um Mapa de Opções
Na API Spark, as classes DataFrameReader, DataFrameWriter, DataStreamReader e DataStreamWriter contêm um método option(). Você pode utilizar este método para especificar opções para a operação de leitura ou gravação subjacente.
Observação
As opções especificadas desta forma substituem quaisquer configurações correspondentes no SparkConf.
Sintaxe de formato curto
Os mapas de opções suportam sintaxe de formato curto. Você pode omitir o prefixo ao especificar uma string de chave de opção.
Exemplo
As seguintes sintaxes são equivalentes entre si:
dfw.option("spark.mongodb.write.collection", "myCollection").save()dfw.option("spark.mongodb.collection", "myCollection").save()dfw.option("collection", "myCollection").save()
Para saber mais sobre o método do option(), consulte as seguintes páginas de documentação do Spark:
Usando uma propriedade do sistema
O conector Spark lê algumas definições de configuração antes de SparkConf estar disponível. Você deve especificar essas configurações usando uma propriedade do sistema JVM.
Para obter mais informações sobre propriedades do sistema Java, consulte a documentação Java.
Dica
Exceções de configuração
Se o conector Spark emitir um ConfigException, confirme se seu SparkConf ou mapa de opções usa a sintaxe correta e contém somente opções de configuração válidas.