Relational Migrator와 Kafka 통합
Relational Migrator 는 Apache Kafka 를 강력한 전송 계층으로 사용하여 소스 관계형 데이터베이스 에서 MongoDB 로 데이터를 마이그레이션 합니다. Relational Migrator 는 빅데이터 마이그레이션 작업의 회복 탄력성 과 확장성 을 개선하는 Kafka Connect 플러그인으로 사용할 수 있습니다.
사용 사례
Relational Migrator with Kafka 는 대규모의 장기 실행 작업을 위한 것입니다. Kafka의 내장 회복 탄력성 은 구성 요소를 일시적으로 사용할 수 없게 되는 경우 동기화 작업 을 복구하고 계속 실행 수 있도록 보장합니다.
행동
Relational Migrator 는 Kafka Connect 싱크 connector 로 Kafka 와 함께 작동합니다. Debezium connector Relational Migrator 는 Debezium 소스의 이벤트를 해석 및 변환하여 데이터 싱크 역할을 하는 MongoDB cluster 로 전송하는 반면, 소스 데이터베이스 에서 데이터 이벤트를 캡처합니다.
아키텍처적으로 Relational Migrator 는 Kafka 내에서 Kafka Connect 싱크 connector 로 배포됩니다. 데이터베이스 이벤트는 오픈 소스 Debezium 도구 를 사용하여 캡처합니다. 데이터베이스 변경 데이터 캡처용입니다. Debezium Connector는 소스 데이터베이스 에서 이러한 이벤트를 캡처합니다.
작업
다음 배포 방법을 사용하여 Kafka와 함께 Relational Migrator를 설치할 수 있습니다.
배포 방법 | 설명 |
|---|---|
이 배포서버 방법은 이미 Kafka 를 실행 거나 Kafka 설치 및 구성에 대한 고유한 접근 방식이 있는 경우에 적합합니다. | |
이 배포서버 방법은 교육 목적에 이상적입니다. 자체 다중 서버 Kafka 환경을 구성하는 방법을 학습 이해하려는 경우 이 기능을 사용하세요. | |
이 배포서버 방법은 자체 클러스터 를 관리 하지 않고도 Kafka 의 안정성을 원하는 경우에 이상적입니다. |