Relational Migrator と Kafka の統合
Relational Migrator は、 Apache Kafkaを堅牢なトランスポートレイヤーとして使用して、ソース リレーショナル データベースから MongoDB にデータを移行します。 Relational Migrator は、大規模なデータ移行ジョブの回復力とスケーラビリティを向上させる Kafka Connect プラグインとして使用できます。
ユースケース
Kafkaを使用したRelational Migratorは、大規模で長時間実行中されるジョブを対象としています。 Kafka に組み込まれている回復力により、いずれかのコンポーネントが一時的に使用できなくなった場合でも、移行ジョブは回復して実行中を継続できます。
動作
Relational Migrator は、 Kafka Connect シンク コネクタ として Kafka と連携します。 Debezium コネクタ はソース データベースからデータ イベントをキャプチャし、Relational Migrator は Debezium ソースからのイベントを解釈して変換し、データ シンクとして機能する MongoDB クラスターに送信します。
アーキテクチャ的には、Relational Migrator は Kafka Connect シンク コネクタとして Kafka 内に配置されます。 データベース イベントは、オープンソースの Debezium ツール を使用してキャプチャされます データベース変更データキャプチャ用。Debezium Connectorは、ソースデータベースからこれらのイベントをキャプチャします。
タスク
Kafka で Relational Migrator をインストールするには、次の配置メソッドを使用できます。
配置方法 | 説明 |
|---|---|
この配置方法は、 Kafka をすでに実行している場合、 または Kafka のインストールと構成に独自のアプローチがある場合に最適です。 | |
この配置方法は、学習目的で最適です。 独自のマルチサーバー Kafka 環境の構成方法を学び、理解したい場合は、これを使用します。 | |
この配置方法は、独自のクラスターを管理する必要なしに Kafka の信頼性を確保する場合に最適です。 |