Docs Menu
Docs Home
/
Spark Connector

Spark の構成

項目一覧

  • Overview
  • 構成を指定する

Overview

バッチ モードとストリーミング モードの両方で読み取り操作と書込み操作を構成できます。 利用可能な構成オプションの詳細については、次のページを参照してください。

  • バッチ読み取り構成オプション

  • バッチ書込み (write) 構成オプション

  • ストリーミング読み取り構成オプション

  • ストリーミング書込み (write) 構成オプション

構成を指定する

使用 SparkConf

次のいずれかの方法を使用して、 SparkConfで構成オプションを指定できます。

  • アプリケーション内のSparkConfコンストラクター。 詳細については、 Java SparkConfig ドキュメントを参照してください。

  • 実行時の--confフラグ。 詳細については、「 Spark プロパティの動的ロード 」を参照してください Spark のドキュメントを参照してください。

  • $SPARK_HOME/conf/spark-default.confファイル。

MongoDB Spark Connector は、デフォルトとしてSparkConfの設定を使用します。

オプション マップの使用

Spark API では、 DataFrameReader 、 DataFrameWriter 、 DataStreamReader 、 DataStreamWriterクラスにはそれぞれoption()メソッドが含まれています。 このメソッドを使用して、基礎となる読み取り操作または書込み (write) 操作のオプションを指定できます。

注意

このように指定されたオプションは、 SparkConf内の対応する設定を上書きします。

短縮構文

オプション マップは短縮形式の構文をサポートします。 オプション キー string を指定するときに、プレフィックスを省略できます。

例

次の構文は互いに同等です。

  • dfw.option("spark.mongodb.write.collection", "myCollection").save()

  • dfw.option("spark.mongodb.collection", "myCollection").save()

  • dfw.option("collection", "myCollection").save()

option()メソッドの詳細については、次の Spark ドキュメント ページを参照してください。

システム プロパティの使用

Spark Connectorは、SparkConf が使用可能になる前にいくつかの構成設定を読み取ります。 JVM システム プロパティを使用してこれらの設定を指定する必要があります。

Java システム プロパティの詳細については、 Java のドキュメントを参照してください。

Tip

構成の例外

Spark Connectorが ConfigException をスローした場合は、SparkConf または オプション マップが正しい構文を使用しており、有効な構成オプションのみが含まれていることを確認します。

戻る

Spark Connector のスタートガイド