Menu Docs
Página inicial do Docs
/
MongoDB Kafka Connector

NOVIDADES

Nesta página

  • Novidades no 1.13
  • Novidades no 1.12
  • Novidades em 1.11.2
  • Novidades em 1.11.1
  • Novidades no 1.11
  • Novidades em 1.10.1
  • Novidades no 1.10
  • Novidades em 1.9.1
  • Novidades no 1.9
  • Novidades em 1.8.1
  • Novidades no 1.8
  • Novidades no 1.7
  • Novidades em 1.6.1
  • Novidades no 1.6
  • Novidades no 1.5
  • Novidades no 1.4
  • Novidades no 1.3
  • Novidades na versão 1.2
  • Novidades no 1.1
  • Novidades no 1.0

Saiba o que há de novo por versão:

  • Versão 1.13

  • Versão 1.12

  • Versão 1.11.2

  • Versão 1.11.1

  • Versão 1.11

  • Versão 1.10.1

  • Versão 1.10

  • Versão 1.9.1

  • Versão 1.9

  • Versão 1.8.1

  • Versão 1.8

  • Versão 1.7

  • Versão 1.6.1

  • Versão 1.6

  • Versão 1.5

  • Versão 1.4

  • Versão 1.3

  • Versão 1.2

  • Versão 1.1

  • Versão 1.0

Novidades no 1.13

  • Foi adicionada uma interface de provedor de autenticação personalizada para conectores de origem e coletor. Esse recurso permite que você escreva e use uma classe de implementação personalizada em seu conector. Para saber mais, consulte o guia dofornecedor de autenticação personalizada .

  • Foi corrigido um problema que ocorria ao validar a configuração para conectores de origem e coletor se a configuração contivesse segredos e usasse a estrutura Provider . Para saber mais sobre essa correção, consulte o KAFka-414 Problema do JIRA.

Novidades no 1.12

  • Suporte adicionado para um valor de configuração do data na configuração do mongo.errors.tolerance . Com mongo.errors.tolerance=data, o conector de pia tolera apenas erros de dados e falha em quaisquer outros.

Novidades em 1.11.2

  • Corrigido um bug no qual as tentativas malsucedidas de recuperar itens de um fluxo de alterações eram registradas no nível INFO em vez de no nível ERROR . Para saber mais sobre essa correção, consulte o KAFka-396 Problema do JIRA.

  • Corrigido um bug no qual os requisitos para o valor de string DELETE_WRITEMODEL_STRATEGY_CONFIG impediam a criação de um objeto DeleteOneDefaultStrategy. Para saber mais sobre essa correção, consulte o KAFka-395 Problema do JIRA.

Novidades em 1.11.1

  • Corrigiu a correspondência de curingas em nomes de campos parciais em documentos. Para saber mais sobre essa correção, consulte o KAFka-391 Problema do JIRA.

  • Corrigido um problema no qual uma exceção de ponteiro nulo é lançada quando o connector tenta registrar valores nulos nas definições de configuração. Para saber mais sobre essa correção, consulte o KAFka-390 Problema do JIRA.

Novidades no 1.11

  • Suporte adicionado para expressões regulares na propriedade topic.namespace.map . Para saber mais sobre esse recurso e ver um exemplo de seu uso, consulte o exemplo de uso de expressões regulares na página Nomenclatura de tópico.

  • Foi adicionada a capacidade de definir uma estratégia de modelo de gravação de exclusão personalizada usando a propriedade de configuração delete.writemodel.strategy . Para saber mais, consulte Estratégias do modelo de gravação do conector do coletor.

  • Foi adicionada a estratégia de modelo de gravação UpdateOneDefaultStrategy . Para saber mais, consulte a lista de Estratégias de modelo de escrita.

  • Foi adicionada a propriedade de configuração do conector de origem change.stream.document.key.as.key. Quando definido como true, o conector adiciona chaves dos documentos excluídos aos eventos de marca para exclusão. Quando definido como false, o conector usa o token de continuação como chave de origem para os eventos de exclusão.

    Como essa propriedade é definida como true por padrão, isso pode ser uma alteração interruptiva para alguns usuários. Para saber mais, consulte a lista de Propriedades de fluxo de alterações.

  • Os eventos DDL do Debezium são registrados como não operacionais e não causam mais erro.

Novidades em 1.10.1

Importante

Atualize para a versão 1.10.1

A versão 1.9 introduziu um bug relacionado a MongoSourceTask.start que pode causar um vazamento de recursos no lado do connector e no lado do servidor.

Atualize para a versão 1.10.1 se você estiver usando a versão 1.9 ou 1.10 do conector.

  • Foi corrigido um vazamento de recursos relacionado ao MongoSourceTask.start que foi introduzido na versão 1.9.

Novidades no 1.10

  • Foi adicionado o nome do connector às métricas de monitoramento JMX.

  • Suporte adicionado para SSL criando as seguintes opções de configuração:

    • connection.ssl.truststore

    • connection.ssl.truststorePassword

    • connection.ssl.keystore

    • connection.ssl.keystorePassword

  • Garantia de que o driver analise os valores de configuração dos provedores de configuração antes de validá-los.

Novidades em 1.9.1

  • Correção do comportamento da inferência de esquema para documentos em arrays aninhadas.

Novidades no 1.9

  • Introduziu a configuração startup.mode=timestamp que permite iniciar um Change Stream em um carimbo de data/hora específico definindo a nova propriedade startup.mode.timestamp.start.at.operation.time .

  • Descontinuadas a propriedade copy.existing e todas as propriedade copy.existing.* . Use as propriedades startup.mode=copy_existing e startup.mode.copy.existing.* para configurar a funcionalidade de cópia existente.

  • Introduziu a configuração change.stream.full.document.before.change que permite acessar e configurar a pré-imagem de uma operação de atualização no documento de evento de fluxo de alterações.

  • Inferência de esquema aprimorada para documentos aninhados contidos em arrays.

  • Introduziu a configuração publish.full.document.only.tombstones.on.delete que configura o connector para enviar eventos de lápide quando os documentos são excluídos. Essa configuração só se aplica quando publish.full.document.only é true.

  • Foram adicionadas informações de exceção do servidor MongoDB às mensagens da fila de mensagens não entregues.

Novidades em 1.8.1

  • Corrigido o tipo retornado pelas chamadas dos métodos getAttribute() e getAttributes() no JMX MBeans para Attribute.

Novidades no 1.8

  • Atualizou a dependência do driver MongoDB Java para a versão 4.7.

  • Foram adicionados vários eventos de registrador e detalhes em conectores de origem e coletor para ajudar na depuração. Para obter uma lista completa das atualizações, consulte o KAFka-302 problema no JIRA.

  • Compatibilidade de monitoramento JMX adicionado para os conectores de origem e coletores. Para saber mais sobre como monitorar conectores, consulte a página Monitoramento.

Conector de coletor

  • Suporte adicionado para o manipulador CDC de fluxo de alterações do Debezium MongoDB. Agora você pode configurar o connector para escutar eventos produzidos por esse manipulador.

Novidades no 1.7

  • Atualizou a dependência do driver MongoDB Java com a versão 4.5

Conector de coletor

  • Foram adicionados relatórios de erro de fila de letras mortas se o connector apresentar erros de gravação em massa

  • Foi adicionada a capacidade de gravações em massa não ordenadas com a propriedade de configuração bulk.write.ordered

  • Foi adicionado um aviso ao tentar usar um manipulador de captura de dados de alteração (CDC) com um pós-processador

  • Compatibilidade removida com a propriedade de configuração max.num.retries

  • Compatibilidade removida com a propriedade de configuração retries.defer.timeout

Importante

Desabilitar novas tentativas por meio de URI de conexão

Para desativar novas tentativas, especifique a opção retryWrites=false no URI de conexão do MongoDB.

A configuração a seguir, que contém um URI de conexão do MongoDB de espaço reservado, desabilita as tentativas:

connection.uri=mongodb://mongodb0.example.com:27017,mongodb1.example.com:27017,mongodb2.example.com:27017/?replicaSet=myRepl&retryWrites=false

Para saber mais sobre como conectar o MongoDB Kafka Connector ao MongoDB, consulte o guia Conectar ao MongoDB .

Para saber mais sobre as opções de URI de conexão, consulte o guia Opções de conexão na documentação do driver Java do MongoDB.

Conector de origem

  • Suporte adicionado para separadores de tópico definidos pelo usuário com a propriedade de configuração topic.separator

  • Adicionado suporte para o campo permitir o uso do disco da MongoDB Query API na cópia da agregação existente com a propriedade de configuração copy.existing.allow.disk.use

  • Adicionado suporte para namespaces de esquema Avro nas output.schema.value output.schema.key propriedades de configuração e

Correções de Bugs

  • Validação de união de esquema Avro corrigida

Novidades em 1.6.1

  • Dependência do driver Java do MongoDB atualizada para 4.3.1 nos JARs combinados

Correções de Bugs

  • Verificação de privilégio do usuário do validador de conexão fixa

  • Corrigido um bug nas classes UuidProvidedIn[Key|Value]Strategy que as impedia de carregar

Novidades no 1.6

  • Suporte adicionado para Stable API para forçar o servidor a executar operações com comportamento compatível com a versão da API especificada

    Observação

    A partir de fevereiro de 2022, a API Versionada é conhecida como a API estável. Todos os conceitos e funcionalidades permanecem os mesmos com essa mudança de nomenclatura.

  • Foram adicionadas propriedades de tratamento de erros do conector de coletor e o conector de origem que podem substituir o comportamento de tratamento de erros do framework do Kafka Connect

  • Adicionado mongo-kafka-connect-<version>-confluent.jar, que contém o connector e todas as dependências necessárias para executá-lo na Plataforma Confluent

Conector de coletor

Conector de origem

  • Sem novas alterações, adições ou melhorias

Correções de Bugs

  • Correção do comportamento de LazyBsonDocument#clone para responder a quaisquer alterações feitas depois de desencapsulado

  • Corrigido o estouro de números inteiros do carimbo de data/hora no conector de origem

  • Atualizado para permitir a recuperação ao chamar o método getMore() no conector de origem

  • Atualizado para permitir a recuperação de um change stream interrompido devido a tamanhos de evento maiores que 16 MB no Connectorde origem

Novidades no 1.5

  • Atualizou a dependência do driver MongoDB Java com a versão 4.2

Conector de coletor

  • Foi adicionada a estratégia de gravação DeleteOneBusinessKeyStrategy para remover registros de um tópico

  • Suporte adicionado para lidar com registros errôneos que causam problemas ao processá-los

  • Adiciona suporte ao Qlik Replicate Change Data Capture (CDC) para processar fluxos de eventos

Conector de origem

  • Substituído BsonDocument por RawBsonDocument

  • Melhoria na manipulação do namespace copy.existing

  • Melhorou as mensagens de erro para operadores de pipeline inválidos

  • Melhorou a eficiência dos heartbeats, tornando-os mensagens de lápide

Correções de Bugs

  • Corrigidas as convenções de nomenclatura do esquema inferido

  • Atualizado para garantir que os esquemas possam ser compatíveis com versões anteriores

  • Corrigiu o problema de validação do coletor com topics.regex

  • Corrigiu o problema do coletor NPE ao usar com o Confluent Connect 6.1.0

  • Atualizado para garantir que o cursor do fluxo de alterações seja fechado para que relate apenas erros existentes

  • Alteração para incluir ou excluir o campo _id de uma projeção somente se ele for adicionado explicitamente

Novidades no 1.4

  • Atualizou o MongoDB Java Driver para a versão 4.1

Conector de coletor

  • Adicionado suporte para Change Data Capture (CDC) com base nos eventos de fluxo de alterações do MongoDB

  • Adicionada a interface NamespaceMapper para permitir o mapeamento dinâmico do namespace

Conector de origem

  • Foi adicionada a interface TopicMapper para permitir o mapeamento de tópicos

Correções de Bugs

  • Alterou o esquema inferido de nível superior para ser obrigatório

  • Corrigiu um problema de validação e propriedade de configuração sintética no Connectorde pia

  • Correção do registro de exceções gerais

  • Atualizado para clonar o LazyBsonDocument em vez do BsonDocument não envolvido

Novidades no 1.3

  • Adição de testes de integração automatizados para as versões mais recentes do Kafka Connector e da Plataforma Confluent para garantir a compatibilidade

Conector de coletor

  • Adicionado suporte para registros que contêm tipos de bytes Bson

  • Adicionado suporte para a propriedade errors.tolerance

  • Alterou o padrão max.num.retries para 1

  • Aprimoramento das mensagens de erro para erros de chave de negócios

  • Melhorado o tratamento de erros para List e opções de configuração de arrays JSON

  • Atualizado para usar a notação de ponto para filtros nas principais estratégias de atualização

Conector de origem

  • Suporte adicionado para gerar uma chave ou valor como um tipo de bytes Bson

  • Suporte adicionado para definições de esquema e esquema Avro personalizado

  • Adicionada compatibilidade para fila de mensagens não entregues (DLQ) e a propriedade errors.tolerance

  • Configurações adicionadas para os seguintes formatadores:

    • DefaultJson

    • ExtendedJson

    • SimplifiedJson

  • Configuração adicionada: permitir o uso de índices durante o processo de cópia usando copy.existing.pipeline

  • Configuração adicionada para copy.existing.namespace.regex para permitir que você copie a filtragem de namespaces

  • Configuração adicionada para offset.partition.name para permitir estratégias personalizadas de nomenclatura de particionamento

  • Atualizado para validar que o campo fullDocument é um documento

  • Atualizado para limpar a string de conexão no mapa de partição de deslocamento para melhorar a manutenção dos parâmetros connection.uri, database e collection

  • Atualizado para desativar a publicação de um registro de origem sem nome de tópico

Correções de Bugs

  • Impediu o MongoDB 3.6 de copiar problemas existentes quando a coleção não existia no conector de origem

Novidades na versão 1.2

Conector de coletor

Importante

Nós descontinuamos os seguintes pós-processadores:

  • BlacklistKeyProjector

  • BlacklistValueProjector

  • WhitelistKeyProjector

  • WhitelistValueProjector

Se você estiver usando um desses pós-processadores, use o que é próprio dele para garantir compatibilidade futura:

  • BlockListKeyProjector

  • BlockListValueProjector,

  • AllowListKeyProjector

  • AllowListValueProjector

  • Foram adicionadas configurações para as seguintes propriedades:

    • document.id.strategy.overwrite.existing

    • UuidStrategy tipos de saída

    • document.id.strategy.partial.value.projection.type

    • document.id.strategy.partial.value.projection.list

    • document.id.strategy.partial.key.projection.type

    • document.id.strategy.partial.key.projection.list

    • UuidProvidedInKeyStrategy

    • UuidProvidedInValueStrategy

  • Adicionou o pós-processador UpdateOneBusinessKeyTimestampStrategy

  • Adição da capacidade integrada para paralelismo e cópia de dados dimensionável, atribuindo partições de tópicos a tarefas

Conector de origem

  • Aprimorou a mensagem de erro para tokens de retomada ausentes

Correções de Bugs

  • Exceções removidas relatadas pelo MongoCopyDataManager quando o banco de dados de origem não existe

  • Correção do erro de cópia da capacidade de retomada existente no conector de origem

Novidades no 1.1

Conector de coletor

  • Adicionado suporte para a propriedade topics.regex

  • Atualizado para ignorar campos de chave ou valor de registro de origem não utilizados

  • Validação adicionada para a conexão usando MongoSinkConnector.validate

Conector de origem

  • Validação adicionada para a conexão usando MongoSourceConnector.validate

Correções de Bugs

  • Removido o erro de "Unrecognized field: startAfter" para retomar um fluxo de alterações no conector de origem

Novidades no 1.0

A versão inicial do GA.

Voltar

MongoDB Kafka Connector

Próximo

Início rápido