Configuração do tutorial do conector Kafka
Os tutoriais nesta seção são executados em um ambiente de desenvolvimento usando o Docker para empacotar as dependências e configurações necessárias para executar o MongoDB connector para o Apache Kafka. Certifique-se de concluir as etapas de configuração do ambiente de desenvolvimento antes de prosseguir para os tutoriais.
Requisitos
Crie ou entre na sua conta do Docker para baixar os contêineres do Docker necessários para este tutorial. Para saber como criar uma conta e instalar o Docker Desktop, leia as etapas de cadastro e download no Guia de início rápido do Docker Hub .
Um aplicativo de terminal e shell. Para usuários do MacOS, use o Terminal ou um aplicativo semelhante. Para usuários do Windows, use o PowerShell.
Opcional. Instale o git para baixar os arquivos de configuração. Para saber como instalar o git, leia a página Downloads do Git.
Configure seu ambiente de desenvolvimento com o Docker
Clone ou baixe o repositório de tutoriais
Em seguida, clone o repositório git do tutorial com o seguinte comando:
git clone https://github.com/mongodb-university/kafka-edu.git
Se você não tiver o git instalado, você pode baixar o arquivozip no lugar.
Execute o ambiente de desenvolvimento
Selecione a guia correspondente ao seu sistema operacional para obter instruções sobre como executar os comandos neste guia:
Navegue até o diretório do tutorial "mongodb-kafka-base" dentro do repositório ou arquivo descompactado usando o bash shell. Se você clonou o repositório com git, seu comando deve ser algo como:
cd kafka-edu/docs-examples/mongodb-kafka-base/
Navegue até o diretório do tutorial "mongodb-kafka-base" dentro do repositório ou arquivo descompactado usando o PowerShell. Se você clonou o repositório com git, seu comando deve ser algo como:
cd kafka-edu\docs-examples\mongodb-kafka-base\
Inicie a imagem do Docker com o seguinte comando:
docker-compose -p mongo-kafka up -d --force-recreate
Observação
Mapeamentos de portas
O sandbox mapeia os seguintes serviços para portas na sua máquina host:
O servidor de sandbox MongoDB mapeia a porta
35001em sua máquina hostO servidor sandbox Kafka Connect JMX mapeia para a porta
35000em sua máquina host
Essas portas devem estar livres para iniciar o sandbox.
A imagem "mongo-kafka-base" cria um contêiner Docker que inclui todos os serviços de que você precisa no tutorial e os executa em uma rede compartilhada chamada "mongodb-kafka-base_localnet", como mostrado no seguinte diagrama:
Quando o comando é concluído com êxito, ele gera o seguinte texto:
... Creating zookeeper ... done Creating broker ... done Creating schema-registry ... done Creating connect ... done Creating rest-proxy ... done Creating mongo1 ... done Creating mongo1-setup ... done
Verifique a configuração bem-sucedida
Confirme que o ambiente de desenvolvimento começou com sucesso executando os seguintes comandos:
docker exec mongo1 status
Esse comando deve gerar as seguintes informações se o ambiente de desenvolvimento do Docker tiver sido configurado com êxito:
Kafka topics: "topic": "docker-connect-status", "topic": "docker-connect-offsets", "topic": "docker-connect-configs", "topic": "__consumer_offsets", The status of the connectors: Currently configured connectors [] Version of MongoDB Connector for Apache Kafka installed: {"class":"com.mongodb.kafka.connect.MongoSinkConnector","type":"sink","version":"1.8.0"} {"class":"com.mongodb.kafka.connect.MongoSourceConnector","type":"source","version":"1.8.0"}
Como você não iniciou os conectores, o status e a lista configurada estão vazios.
A configuração do ambiente de desenvolvimento está concluída e você pode prosseguir para a próxima etapa do tutorial.
Dica
Conecte-se ao ambiente de desenvolvimento MongoDB
Você pode se conectar ao MongoDB cluster em execução em seu ambiente de desenvolvimento com a seguinte connection string:
mongodb://localhost:35001/?directConnection=true