将 Relational Migrator 与 Kafka 集成
Relational Migrator使用 Apache Kafka作为稳健的传输层,迁移数据从源关系数据库迁移到MongoDB。 Relational Migrator可用作Kafka Connect 插件,提高大数据迁移作业的韧性和可扩展性。
用例
Relational Migrator with Kafka适用于大型且长时间运行的作业。 Kafka内置的韧性功能可确保在任何组件暂时不可用时,同步作业可以恢复并继续运行。
行为
Relational Migrator与Kafka一起作为Kafka Connect 接收器Connector。 DebeziumConnector 从源数据库捕获数据事件,而Relational Migrator解释和转换来自 Debezium 源的事件,并将它们发送到充当数据接收器的MongoDB 集群。
在架构上, Relational Migrator作为Kafka Connect 接收器Connector部署在Kafka中。 使用开源 Debezium 工具 捕获数据库事件 用于数据库变更数据捕获。Debezium Connector 从源数据库捕获这些事件。
任务
您可以使用以下部署方法安装 Relational Migrator with Kafka:
部署方法 | 说明 |
---|---|
如果您已经在运行Kafka或有自己的方法来安装和配置Kafka ,则此部署方法是理想的选择。 | |
此部署方法非常适合教育目的。 如果您想学习;了解和了解如何配置自己的多服务器Kafka环境,请使用此教程。 | |
如果您既希望获得Kafka的可靠性,又不想管理自己的集群,那么这种部署方法是理想的选择。 |