Pós-processadores do conector de coletor

Crie uma estratégia de identificação de documento personalizada

Se as estratégias internas de adição de ID de documento não cobrirem seu caso de uso, você poderá definir uma estratégia de ID de documento personalizada seguindo as etapas abaixo:

1. Crie uma classe Java que implemente a interface IdStrategy e contenha sua lógica de configuração personalizada.

2. Compile a classe em um arquivo JAR.

3. Adicione o JAR compilado ao caminho de classe/plugin para todos os seus trabalhadores do Kafka. Para obter mais informações sobre caminhos de plug-in, consulte a documentação do Confluent.

4. Atualize a configuração document.id.strategy para o nome completo da classe da sua classe personalizada em todos os seus trabalhadores do Kafka.

Para obter por exemplo, implementações da IdStrategy interface , consulte o diretório do código-fonte que contém ID implementações de estratégia de empacotado com o connector.

Exemplos de curingas da lista de permissões

Você pode usar o curinga * para corresponder a vários nomes de campos. O exemplo de configuração a seguir corresponde aos seguintes campos:

• O campo de nível superior chamado "cidade"

• Os campos chamados "média" que são subdocumentos de qualquer campo de nível superior que comece com o nome "wind_speed".

post.processor.chain=com.mongodb.kafka.connect.sink.processor.AllowListValueProjector
value.projection.type=AllowList
value.projection.list=city,wind_speed*.average

Após o pós-processador aplicar a projeção da lista de permissões, ele produz o seguinte registro:

{
  "city": "Springfield",
  "wind_speed_10m": {
    "average": 3,
  },
  "wind_speed_80m": {
    "average": 8,
  }
}

Você pode usar o curinga ** que corresponde a objetos em qualquer nível a partir daquele em que você especificar o curinga. O exemplo de correspondência curinga a seguir projeta qualquer documento que contenha o campo chamado "low".

post.processor.chain=com.mongodb.kafka.connect.sink.processor.AllowListValueProjector
value.projection.type=AllowList
value.projection.list=**.low

O pós-processador que aplica os resultados da projeção ao seguinte registro:

{
  "temperature": {
    "high": 28,
    "low": 24,
    "units": "C"
  },
  "soil_conditions": {
    "temperature": {
      "high": 22,
      "low": 17,
      "units": "C"
    }
  }
}

Exemplo de curinga de lista de bloqueio

Você pode usar os padrões curinga para corresponder campos em um nível de documento específico, conforme mostrado no exemplo de configuração de lista de bloqueios a seguir:

post.processor.chain=com.mongodb.kafka.connect.sink.processor.BlockListValueProjector
value.projection.type=BlockList
value.projection.list=*.*.temperature

{
  "city": "Springfield",
  "temperature": {
    "high": 28,
    "low": 24,
    "units": "C"
  },
  "wind_speed_10m": {
    "average": 3,
    "units": "km/h"
  },
  "wind_speed_80m": {
    "average": 8,
    "units": "km/h"
  },
  "soil_conditions": {
    "moisture": {
      "average": 340,
      "units": "mm"
    }
  }
}

Renomear por exemplo de mapeamento

A configuração RenameByMapping do pós-processador especifica um ou mais objetos JSON que atribuem campos correspondentes a uma string a um novo nome. Cada objeto contém o texto a ser combinado no elemento oldName e o texto de substituição no elemento newName, conforme descrito na tabela abaixo.

A propriedade de exemplo a seguir corresponde ao campo "local" de um documento de chave e o renomeia para "país":

field.renamer.mapping=[{"oldName":"key.location", "newName":"country"}]

Essa configuração instrui o pós-processador RenameByMapping a transformar o documento de chave original no seguinte documento:

{
  "country": "Provence",
  "date_month": "October",
  "date_day": 17
}

Você pode executar uma atribuição de nome de campo semelhante para documentos de valor especificando o documento de valor com o nome de campo anexado no campo oldName como segue:

field.renamer.mapping=[{"oldName":"value.flapjacks", "newName":"crepes"}]

Esta configuração instrui o RenameByMapping pós-processador a transformar o documento de valor original para o seguinte documento:

{
  "crepes": {
    "purchased": 598,
    "size": "large"
  }
}

Você também pode especificar um ou mais mapeamentos na propriedade field.renamer.mapping utilizando uma array JSON no formato de string como mostrado na seguinte configuração:

field.renamer.mapping=[{ "oldName":"key.location", "newName":"city" }, { "oldName":"value.crepes", "newName":"flapjacks" }]

Renomear por Expressão Regular

A configuração RenameByRegex pós-processador especifica os nomes de campo e os padrões de texto que devem ser correspondidos, e os valores de substituição para o texto correspondido. Você pode especificar uma ou mais expressões de renomeação em objetos JSON contendo os campos descritos na seguinte tabela:

A configuração de exemplo a seguir instrui o pós-processador a executar o seguinte:

• Combine quaisquer nomes de campo no documento-chave que comecem com "data". No conjunto de campos correspondentes, substitua todo o texto que corresponda ao padrão _ pelo caractere -.

• Corresponde a qualquer nome de campo no documento de valor que seja um subdocumento de crepes. No conjunto de campos correspondentes, substitua todo o texto que corresponda ao padrão purchased por quantity.

field.renamer.regexp=[{"regexp":"^key\\.date.*$","pattern":"_","replace":"-"}, {"regexp":"^value\\.crepes\\..*","pattern":"purchased","replace":"quantity"}]

Quando o conector aplica o pós-processador ao documento de chave de exemplo e ao documento de valor de exemplo, ele produz o seguinte:

Documento chave

{
  "location": "Provence",
  "date-month": "October",
  "date-day": 17
}

Documento de valor

{
  "crepes": {
    "quantity": 598,
    "size": "large"
  }
}