๊ธฐ์กด Kafka Cluster๋ก ์ค์น
์ด ํ์ด์ง์ ๋ด์ฉ
Relational Migrator๋ Kafka Connect๋ฅผ ํฌํจํ ๊ธฐ์กด Kafka cluster์ ์ค์นํ ์ ์์ต๋๋ค. ์ด ์ค์น ๋ฐฉ๋ฒ์ ์ด๋ฏธ Kafka๋ฅผ ์คํ ์ค์ด๊ฑฐ๋ Kafka ์ค์น ๋ฐ ๊ตฌ์ฑ์ ๋ํ ๊ณ ์ ํ ์ ๊ทผ ๋ฐฉ์์ด ์๋ ๊ฒฝ์ฐ์ ์ ํฉํฉ๋๋ค.
์์ํ๊ธฐ ์ ์
Relational Migrator๋ฅผ ์คํํ๋ ์ปดํจํฐ์์ Kafka Connect ํด๋ฌ์คํฐ์ ๋ํ Kafka ๋ฐ ๋คํธ์ํฌ ์ฐ๊ฒฐ์ด ์์ด์ผ ํฉ๋๋ค.
๋จ๊ณ
Debezium ์์ค ์ฐ๊ฒฐ ํ๋ฌ๊ทธ์ธ ์ค์น
์์ค ๋ฐ์ดํฐ๋ฒ ์ด์ค ์ ๋ํ ์์ค connector ์์นด์ด๋ธ๋ฅผ ๋ค์ด๋ก๋ํฉ๋๋ค.
์์นด์ด๋ธ์ ์์ถ์ ํ๋๋ค.
debezium-connector.jar
ํ์ผ ์debezium-connector
๋๋ ํ ๋ฆฌ ์ ๋ณต์ฌํฉ๋๋ค.debezium-connector.jar
๋ค์ด๋ก๋ํdebezium-connector-xxx
์์นด์ด๋ธ์์ ํ์ผ์ Kafka Connect์ plugin.path ์ ์๋ ๋๋ ํ ๋ฆฌ๋ก ๋ณต์ฌํฉ๋๋ค. Kafka Connect ํด๋ฌ์คํฐ์์. ์:/kafka/connect/debezium-connector-sqlserver
.Kafka Connect ํด๋ฌ์คํฐ ๋ฅผ ๋ค์ ์์ํฉ๋๋ค.
ํ๋ฌ๊ทธ์ธ์ด ์ฑ๊ณต์ ์ผ๋ก ๋ฑ๋ก๋๋ฉด
kafka-connect
์์ ๋ก๊ทธ์ ๋ค์ ๋ก๊ทธ ์ฑ๋ช ์ ์ด ๋ํ๋ฉ๋๋ค.INFO || Added plugin 'io.debezium.connector.sqlserver.SqlServerConnector'
Relational Migrator Sink Connect ํ๋ฌ๊ทธ์ธ ์ค์น
kafka-connect-migrator.jar
ํ์ผ ์ ์ต์ ๋ฒ์ ์ ๋ค์ด๋ก๋ํฉ๋๋ค.์ต์
kafka-connect-migrator.jar
ํ์ผ์ ๋ค์ด๋ก๋ํ๋ ค๋ฉด Migrator ์ค์น ํ๋ก๊ทธ๋จ ๋ฆฌํฌ์งํ ๋ฆฌ๋ฅผ ์ฐธ์กฐํ์ธ์..jar
ํ์ผ์kafka-connect-migrator
๋๋ ํ ๋ฆฌ์ ๋ณต์ฌํฉ๋๋ค.์
kafka-connect-migrator
๋๋ ํ ๋ฆฌ๋ Kafka Connect์ plugin.path ์์ ์ฐพ์ ์ ์์ต๋๋ค. . ์:/kafka/connect/kafka-connect-migrator
.Kafka Connect ํด๋ฌ์คํฐ ๋ฅผ ๋ค์ ์์ํฉ๋๋ค.
ํ๋ฌ๊ทธ์ธ์ด ์ฑ๊ณต์ ์ผ๋ก ๋ฑ๋ก๋๋ฉด
kafka-connect
์์ ๋ก๊ทธ์ ๋ค์ ๋ก๊ทธ ์ฑ๋ช ์ ์ด ๋ํ๋ฉ๋๋ค.INFO || Added plugin 'com.mongodb.migrator.kafka.connect.MigratorSinkConnector'
Relational Migrator ์ค์น
๋ค์ด๋ก๋ ์ผํฐ ์์ ์ต์ ๋ฒ์ ์ Relational Migrator ์ค์น ํ๋ก๊ทธ๋จ์ ์ ํํฉ๋๋ค.
kafka ํตํฉ ๋ชจ๋์์ Relational Migrator ์คํ
kafka-integrated
๋ชจ๋์์ ์คํํ๋ ค๋ฉด user.properties
ํ์ผ์์ ๋ค์ ๊ตฌ์ฑ์ ์
๋ฐ์ดํธํฉ๋๋ค.
user.properties
ํ์ผ ์ OS ํน์ ์์น ์ ์์ต๋๋ค. ์์ธํ ๋ด์ฉ์ Relational Migrator ํ์ผ ์์น๋ฅผ ์ฐธ์กฐํ์ธ์.
์์ฑ ์ด๋ฆ | ๊ธฐ๋ณธ๊ฐ | ์ค๋ช
|
---|---|---|
| ๋ก์ปฌ | Relational Migrator ๋ ๋ค์ ํ๋กํ์์ ์คํ ์ ์์ต๋๋ค.
ํ๋กํ ๊ฐ์ |
| 8278 | Relation Migrator ์ ํ๋ฆฌ์ผ์ด์ ์ด ์คํ๋๋ ํฌํธ์ ๋๋ค. |
| ๊ธฐ๋ณธ๊ฐ ์์ | ์ด๋ ๊ธฐ์กด Kafka ํด๋ฌ์คํฐ ์ ์์ธํ ๋ด์ฉ์ ์์ ์ ๊ตฌ์ฑ ์์ฑ์ ์ฐธ์กฐํ์ธ์. |
| ๊ธฐ๋ณธ๊ฐ ์์ |
|
| ๊ธฐ๋ณธ๊ฐ ์์ | Kafka Connect JMX(Java ๊ด๋ฆฌ ํ์ฅ ํ๋ก๊ทธ๋จ) URL์ ๋๋ค. ์๋ฅผ ๋ค๋ฉด ๋ค์๊ณผ ๊ฐ์ต๋๋ค. |
์ฑ๊ณต์ ์ธ ์ค์น ํ์ธ
Relational Migrator๋ฅผ ์์ํ๊ณ ๋ก๊ทธ๋ฅผ ํ์ธํฉ๋๋ค. Kafka ํ๋กํ์ด ํ์ฑ ์ํ์ด๊ณ ์ค๋ฅ๊ฐ ์๋์ง ํ์ธํฉ๋๋ค.
log
ํ์ผ ์ OS ํน์ ์์น ์ ์์ต๋๋ค. ์์ธํ ๋ด์ฉ์ Relational Migrator ํ์ผ ์์น๋ฅผ ์ฐธ์กฐํ์ธ์.