Integração do Relational Migrator com o Kafka
Nesta página
O Relational Migrator usa o Apache Kafka como uma camada de transporte robusta para migrar dados de um banco de banco de dados relacional de origem para o MongoDB. O Relational Migrator pode ser usado como um plugin -in Kafka Connect que melhora a resiliência e a escalabilidade de tarefas de migração de big data.
Casos de uso
O Relational Migrator com Kafka é destinado a trabalhos grandes e de longa duração. A resiliência integrada do Kafka garante que o tarefa de sincronização possa se recuperar e continuar em execução se algum componente ficar temporariamente indisponível.
Comportamento
O Relational Migrator funciona com o Kafka como um conector de coletor do Kafka Connect. Um conector Debezium captura eventos de dados de seu banco de banco de dados de origem, enquanto o Relational Migrator interpreta e transforma eventos da origem Debezium e os envia para um cluster MongoDB que atua como coletor de dados.
Arquiteturalmente, o Relational Migrator é implantado no Kafka como um conector de coletor do Kafka Connect. Os eventos do banco de dados são capturados usando a ferramenta open source Debezium para captura de banco de dados de alteração do banco de dados. Um Connector Debezium captura esses eventos do seu banco de banco de dados de origem .
Tarefas
Você pode usar os seguintes métodos de implantação para instalar o Relational Migrator com Kafka:
Método de implementação | Descrição |
|---|---|
Esse método de implantação é ideal se você já estiver executando o Kafka ou tiver sua própria abordagem para instalar e configurar o Kafka. | |
Este método de implantação é ideal para fins informativos. Use isso se você estiver procurando aprender e entender como configurar seu próprio ambiente Kafka de vários servidores. | |
Esse método de implantação é ideal se você deseja a confiabilidade do Kafka sem precisar gerenciar seu próprio cluster. |