Docs Menu
Docs Home
/
MongoDB Kafka Connector

新機能

項目一覧

  • 1.13の新機能
  • 1.12の新機能
  • 1.11.2の新機能
  • 1.11.1の新機能
  • 1.11の新機能
  • 1.10.1の新機能
  • 1.10の新機能
  • 1.9.1の新機能
  • 1.9の新機能
  • 1.8.1の新機能
  • 1.8の新機能
  • 1.7の新機能
  • 1.6.1の新機能
  • 1.6の新機能
  • 1.5の新機能
  • 1.4の新機能
  • 1.3の新機能
  • 1.2 の新機能
  • 1.1 の新機能
  • 1.0の新機能

バージョン別の新機能については、以下を参照してください。

1.13の新機能

  • Source Connector と Sink Connector のカスタム認証プロバイダー インターフェイスを追加しました。 この機能を使用すると、connector でカスタム実装クラスを記述して使用できます。 詳しくは、 カスタム認証プロバイダのガイドをご覧ください。

  • 構成にシークレットが含まれており、 Providerフレームワークを使用している場合に、Source Connector と Sink Connector の構成を検証するときに発生する問題を修正しました。 この修正の詳細については、 Kafka-414 を参照してください。 JIRA の問題。

1.12の新機能

  • mongo.errors.tolerance構成設定でdata構成値のサポートを追加しました。 mongo.errors.tolerance=dataを使用すると、Sink Connector はデータエラーのみを許容し、他のエラーに対しては失敗します。

1.11.2の新機能

  • 変更ストリームからアイテムを取得できない試行がERRORレベルではなくINFOレベルでログに記録されるバグを修正しました。 この修正の詳細については、 Kafka-396 を参照してください。 JIRA の問題。

  • DELETE_WRITEMODEL_STRATEGY_CONFIG string 値の要件によってDeleteOneDefaultStrategyオブジェクトの作成が妨げられるバグを修正しました。 この修正の詳細については、 Kafka-395 を参照してください。 JIRA の問題。

1.11.1の新機能

  • ドキュメント内の部分的なフィールド名に対するワイルドカード 一致を修正しました。 この修正の詳細については、 Kafka-391 を参照してください。 JIRA の問題。

  • コネクタが構成設定の null 値をログに記録しようとすると、null ポインターの例外がスローされる問題を修正しました。 この修正の詳細については、 Kafka-390 を参照してください。 JIRA の問題。

1.11の新機能

  • topic.namespace.mapプロパティで正規表現のサポートを追加しました。 この機能の詳細と使用例については、「 トピックの命名 」ページの「正規表現の使用例 」を参照してください。

  • delete.writemodel.strategy構成プロパティを使用して、カスタム削除書込みモデル戦略を設定するためのサポートを追加しました。 詳細については、「 Sink Connector 書込みモデル戦略 」を参照してください。

  • UpdateOneDefaultStrategy書込みモデル戦略を追加しました。 詳細については、「書込みモデル戦略 」のリストを参照してください。

  • change.stream.document.key.as.keyソース コネクタ構成プロパティを追加しました。 trueに設定すると、コネクタは削除されたドキュメントのキーをトゥームストーン イベントに追加します。 falseに設定すると、コネクタはトゥームストーン イベントのソースキーとして再開トークンを使用します。

    このプロパティはデフォルトでtrueに設定されているため、これは一部のユーザーにとって重大な変更になる可能性があります。 詳細については、「変更ストリームのプロパティ 」のリストを参照してください。

  • Debezium の DDL イベントは操作なしとして記録され、エラーが発生しなくなりました。

1.10.1の新機能

重要

バージョン1.10.1にアップグレード

バージョン1.9では、コネクタ側とサーバー側の両方でリソース リークを発生させる可能性があるMongoSourceTask.startに関連するバグが導入されました。

コネクタのバージョン1.9または1.10を使用している場合は、バージョン1.10.1にアップグレードします。

  • バージョン1.9で導入されたMongoSourceTask.startに関連するリソース リークを修正しました。

1.10の新機能

  • JTX モニタリング メトリクスに connector名を追加しました。

  • 次の構成オプションを作成して、SSL のサポートを追加しました。

    • connection.ssl.truststore

    • connection.ssl.truststorePassword

    • connection.ssl.keystore

    • connection.ssl.keystorePassword

  • ドライバーがコンフィギュレーションプロバイダーからの構成値を検証する前に、それらの値を解析するようになりました。

1.9.1の新機能

  • ネストされた配列内のドキュメントのスキーマ推論の動作を修正しました。

1.9の新機能

  • 新しいstartup.mode.timestamp.start.at.operation.timeプロパティを設定して、特定のタイムスタンプで変更ストリームを開始できるようにするstartup.mode=timestamp設定を導入しました。

  • copy.existingプロパティとすべてのcopy.existing.*プロパティが非推奨になりました。 既存のコピー機能を構成するには、 startup.mode=copy_existingとstartup.mode.copy.existing.*プロパティを使用します。

  • 変更ストリーム イベント ドキュメントの更新操作の変更前イメージにアクセスして構成できるchange.stream.full.document.before.change設定を導入しました。

  • 配列に含まれるネストされたドキュメントのスキーマ推論を改善しました。

  • ドキュメントが削除されたときにトゥームストーン イベントを送信するようにコネクタを構成するpublish.full.document.only.tombstones.on.delete設定を導入しました。 この設定は、 publish.full.document.onlyがtrueの場合にのみ適用されます。

  • デッド レター キュー メッセージに MongoDB サーバーの例外情報を追加しました。

1.8.1の新機能

  • JTX MBuilds でgetAttribute()とgetAttributes()メソッド呼び出しによって返される型をAttributeに修正しました。

1.8の新機能

  • MongoDB Java ドライバーの依存関係をバージョン4.7に更新しました。

  • デバッグに役立つために、ソース コネクタと Sink コネクタにいくつかのロガー イベントと詳細を追加しました。 更新の完全なリストについては、 Kafka-302 を参照してください。 JIRA で実行される問題。

  • ソース コネクタと Sink コネクタの JTX モニタリング サポートを追加しました。 コネクタの監視について詳しくは、「監視ページ 」を参照してください。

Sink Connector

  • Debezium MongoDB Change Stream CDC ハンドラーのサポートを追加しました。 このハンドラーによって生成されたイベントをリッスンするようにコネクターを構成できるようになりました。

1.7の新機能

  • MongoDB Java ドライバーの依存関係をバージョン4.5に更新しました

Sink Connector

  • コネクタで一括書き込みエラーが発生した場合の、デッド レター キュー エラーの報告を追加しました

  • bulk.write.ordered構成プロパティによる順序なし一括書き込みのサポートを追加しました

  • ポストプロセッサで変更データ収集 (CDC) ハンドラーを使用しようとする際に警告を追加しました

  • max.num.retries構成プロパティのサポートを廃止しました

  • retries.defer.timeout構成プロパティのサポートを廃止しました

重要

接続 URI による再試行の無効化

再試行を無効にするには、MongoDB 接続 URI でretryWrites=falseオプションを指定します。

プレースホルダー MongoDB 接続 URI を含む次の構成では、再試行が無効になります。

connection.uri=mongodb://mongodb0.example.com:27017,mongodb1.example.com:27017,mongodb2.example.com:27017/?replicaSet=myRepl&retryWrites=false

MongoDB Kafka Connector を MongoDB に接続する方法の詳細については、「 MongoDBへの接続」ガイドを参照してください。

接続 URI オプションの詳細については、MongoDB Java ドライバーのドキュメントの 「接続オプション」ガイドを参照してください。

ソースConnector

  • topic.separator構成プロパティを持つユーザー定義のトピック区切り文字のサポートを追加しました

  • copy.existing.allow.disk.use構成プロパティを使用したコピー既存の集計に MongoDB Query API の許可ディスク使用フィールドのサポートを追加しました

  • Avro スキーマ名前空間 のサポートを追加しましたoutput.schema.value およびoutput.schema.key 構成プロパティ

バグ修正

  • Avro スキーマ和集合の検証を修正しました

1.6.1の新機能

  • MongoDB Java ドライバーの依存関係を結合された JAR で4.3.1に更新しました

バグ修正

  • 接続検証ツールのユーザー特権チェックを修正しました

  • UuidProvidedIn[Key|Value]Strategyクラスで読み込みを妨げるバグを修正しました

1.6の新機能

  • 指定された API バージョンと互換性のある動作でサーバーが強制的に操作を実行するようにStable APIのサポートを追加しました

    注意

    2022 年 2 月以降、 Versioned APIはStable APIという名前に変更しました。 この用語の変更によるコンセプトと機能についての変更はありません。

  • Kafka Connect フレームワークのエラー処理動作を上書きできるSink ConnectorとSource Connectorにエラー処理プロパティを追加しました

  • コネクタとそれを Confluent プラットフォームで実行するために必要なすべての依存関係を含むmongo-kafka-connect-<version>-confluent.jarを追加しました

Sink Connector

ソースConnector

  • 新しい変更、追加、改善はありません

バグ修正

  • ラップ解除されてから行われた変更に応答するようにLazyBsonDocument#cloneの動作を修正しました

  • ソースConnectorでのタイムスタンプ整数のオーバーフローを修正しました

  • ソースConnectorで getMore() メソッドを呼び出すときにリカバリを有効にするようにアップデート

  • Source Connector でイベント サイズが16 MB より大きいことが原因で壊れた変更ストリームから回復できるように更新されました

1.5の新機能

  • MongoDB Java ドライバーの依存関係をバージョン4.2に更新しました

Sink Connector

  • トピックからレコードを削除するためのDeleteOneBusinessKeyStrategy書込み戦略を追加しました

  • 処理時に問題を引き起こすエラー レコードの処理に関するサポートを追加しました

  • イベント ストリームを処理するための Qlik Replicate Change Data Write（CDC） のサポートを追加しました

ソースConnector

  • BsonDocumentをRawBsonDocumentに置き換えました

  • copy.existing名前空間の処理を改善しました

  • 無効なパイプライン演算子のエラー メッセージを改善しました

  • トゥームストーン メッセージにすることでハートビートの効率を向上させました

バグ修正

  • 推測されたスキーマの命名規則を修正しました

  • スキーマの下位互換性を確保するために更新

  • で Sink 検証の問題を修正しました topics.regex

  • Confluent Connect 6.1.0で を使用する際の Sink NPE の問題を修正しました

  • 変更ストリーム カーソルが閉じ、存在するエラーのみを報告するようにアップデート

  • プロジェクションの_idフィールドを含めるか除外するように変更しました（明示的に追加されている場合のみ）

1.4の新機能

  • MongoDB Java ドライバーをバージョン4.1に更新しました

Sink Connector

  • MongoDB 変更ストリーム イベントに基づく 変更データキャプチャ（CDC） のサポートを追加しました

  • 動的名前空間マッピングを可能にするためにNamespaceMapperインターフェースを追加しました

ソースConnector

  • トピック マッピングを可能にするためにTopicMapperインターフェースを追加しました

バグ修正

  • 最上位の推論スキーマを必須へ変更しました

  • Sink Connector の検証の問題と合成構成プロパティを修正しました

  • 一般的な例外のログの記録を修正しました

  • ラップされていない ではなく を複製するための更新LazyBsonDocumentBsonDocument

1.3の新機能

  • 互換性を確保するために最新の Kafka Connector と Confluent Platform バージョンの自動統合テストを追加しました

Sink Connector

  • Bsonバイト型を含むレコードのサポートを追加しました

  • errors.toleranceプロパティのサポートを追加しました

  • max.num.retriesのデフォルトを1に変更しました

  • ビジネス キー エラーのエラー メッセージを改善しました

  • Listおよび JSON 配列構成オプションのエラー処理を改善しました

  • キー更新戦略のフィルターにドット表記を使用するように更新されました

ソースConnector

  • キーまたは値をBsonバイト型として出力するためのサポートを追加しました

  • スキーマとカスタム Avro スキーマ定義のサポートを追加

  • デッド レター キューとerrors.toleranceプロパティのサポートを追加しました

  • 次のフォーマッタの構成を追加しました。

    • DefaultJson

    • ExtendedJson

    • SimplifiedJson

  • コピー プロセス中にインデックスを使用できるようにするためにcopy.existing.pipelineの構成を追加しました

  • 名前空間のフィルタリングをコピーできるようにするためにcopy.existing.namespace.regexの構成を追加しました

  • カスタムのパーティション分割命名戦略を可能にするためにoffset.partition.nameの構成を追加しました

  • fullDocumentフィールドがドキュメントであることを検証するために更新

  • オフセット パーティション マップの接続stringをクリーンアップして、connection.uri、database、collection パラメータのメンテナンスを改善するためにアップデートされました

  • トピック名なしでソース レコードの公開を無効にするように更新されました

バグ修正

  • MongoDB3.6コレクションがソース に存在しない場合に、 が既存の問題をコピーするのを停止しましたConnector

1.2 の新機能

Sink Connector

重要

次のポストプロセッサを非推奨にしました。

  • BlacklistKeyProjector

  • BlacklistValueProjector

  • WhitelistKeyProjector

  • WhitelistValueProjector

これらのポストプロセッサのいずれかを使用している場合は、将来の互換性のためにそれぞれのものを代わりに使用してください。

  • BlockListKeyProjector

  • BlockListValueProjector,

  • AllowListKeyProjector

  • AllowListValueProjector

  • 次のプロパティの構成を追加しました。

    • document.id.strategy.overwrite.existing

    • UuidStrategy 出力型

    • document.id.strategy.partial.value.projection.type

    • document.id.strategy.partial.value.projection.list

    • document.id.strategy.partial.key.projection.type

    • document.id.strategy.partial.key.projection.list

    • UuidProvidedInKeyStrategy

    • UuidProvidedInValueStrategy

  • UpdateOneBusinessKeyTimestampStrategyポストプロセッサ を追加しました

  • トピック パーティションをタスクに割り当てることで、並列処理とスケーラブルなデータ コピーを組み込みでサポートするようになりました

ソースConnector

  • 再開トークンが欠落している場合のエラー メッセージが改善されました

バグ修正

  • ソース データベースが存在しない場合にMongoCopyDataManagerによって報告される例外を削除しました

  • ソースConnectorでの既存の再開可能エラーのコピーを修正しました

1.1 の新機能

Sink Connector

  • topics.regexプロパティのサポートを追加しました

  • 未使用のソース レコード キーまたは値フィールドを無視するように更新されました

  • を使用する接続の検証を追加しました MongoSinkConnector.validate

ソースConnector

  • を使用する接続の検証を追加しました MongoSourceConnector.validate

バグ修正

  • Source Connector で変更ストリームを再開するための"Unrecognized field: startAfter"エラーを削除しました

1.0の新機能

最初の GA リリース。

戻る

MongoDB Kafka Connector