リリースノート

MongoDB Connector for Spark 10.4

10.4 connector リリースには、次の変更と新機能が含まれています。

• Java Sync Driver のバージョンを v 5.1 .x に更新します。

MongoDB Connector for Spark 10.3

10.3 のコネクター リリースには、次の新機能が含まれています。

• Spark v 3.3のサポートを追加し、 v 3.4 、および v 3.5 。

• マイクロバッチまたは継続的なストリーミング モードを使用する場合に、複数のコレクションを読み取るためのサポートを追加しました。

  警告

  重大な変更

  複数のコレクションの読み取りをサポートすることで、次の重大な変更が導入されます。

  • collection{0 構成オプションで使用されるコレクションの名前にカンマが含まれている場合、Spark Connector はそれを 2 つの異なるコレクションとして扱います。これを回避するには、カンマの前にバックスラッシュ（\）を付けてコンマをエスケープする必要があります。

  • collection 構成オプションで使用されるコレクションの名前が「*」の場合、 Spark Connectorはそれをすべてのコレクションをスキャンするための仕様と解釈します。 これを回避するには、アスタリスクの前にバックスラッシュ（\）を付けてアスタリスクをエスケープする必要があります。

  • collection 構成オプションで使用されるコレクションの名前にバックスラッシュ（\）が含まれている場合、 Spark Connectorはバックスラッシュをエスケープ文字として扱い、 値の解釈方法が変更される可能性があります。 これを回避するには、バックスラッシュの前に別のバックスラッシュを付けて、バックスラッシュをエスケープする必要があります。

  複数のコレクションをスキャンする方法について詳しくは、 コレクション構成プロパティの説明を参照してください。

MongoDB Connector for Spark 10.2

10.2 connector リリースには、次の新機能が含まれています。

• コネクタが null 値を無視するかどうかを制御できるignoreNullValues書込み構成プロパティを追加しました。 以前のバージョンでは、connector は常に MongoDB にnull値を書込みました。

• convertJson書込み構成プロパティのオプションを追加しました。

• マイクロバッチを複数のパーティションに分割して並列処理が可能になるchange.stream.micro.batch.max.partition.count読み取り構成プロパティを追加しました。

• change.stream.publish.full.document.only読み取り構成プロパティを使用する場合の変更ストリーム スキーマの推論が改善されました。

• オフセットが使用できない場合にコネクタが変更イベントを処理する方法を指定するchange.stream.startup.mode読み取り構成プロパティを追加しました。

• 操作にコメントを追加するためのサポート。

MongoDB Connector for Spark 10.1.1

• $collStatsパイプライン ステージを含む集計が 時系列 コレクションのカウント フィールドを返さないバグを修正しました。

MongoDB Connector for Spark 10.1.0

• Scala のサポート2.13 。

• Spark Structured Streaming によるマイクロバッチ モードのサポート

• BSON データ型のサポート

• 空のコレクションのパーティションのサポートを改善しました。

• 書込み (write) 操作の自動アップサートを無効にするオプション。

• 空の配列のスキーマ推論を改善しました。

• 配列とリスト内の null 値をサポートします。 Connector は例外をスローする代わりに、これらの値を MongoDB に書込むようになりました。

詳しくは、 で この記事 はMongoDB Blog を参照してください。

MongoDB Connector for Spark 10.0.0

• Spark Structured Streaming のサポート