Menu Docs
Página inicial do Docs
/
MongoDB Kafka Connector
/
Conector de coletor
/
Propriedades de configuração

Propriedades de processamento de mensagens do conector

Nesta página

  • Visão geral
  • Configurações

Visão geral

Use as configurações nesta página para configurar o comportamento de processamento de mensagens do connector de pia MongoDB Kafka, incluindo o seguinte:

  • Tamanho do lote da mensagem

  • Limites de taxa

  • Número de tarefas paralelas

Para obter uma lista de definições de configuração do conector de coletor organizadas por categoria, consulte o guia sobre Propriedades de configuração do conector de coletor.

Configurações

Nome
Descrição
max.batch.size
Type: int

Description:
Maximum number of sink records to batch together for processing.

Consider the batch that contains the following records:
[ 1, 2, 3, 4, 5 ]
When set to 0, the connector performs a single bulk write for the entire batch.

When set to 1, the connector performs one bulk write for each record in the batch, for a total of five bulk writes as shown in the following example:
[1], [2], [3], [4], [5]
Default: 0
Accepted Values: An integer
bulk.write.ordered
Type: boolean

Description:
Whether the connector writes a batch of records as an ordered or unordered bulk write operation. When set to true, the default value, the connector writes a batch of records as an ordered bulk write operation.
To learn more about bulk write operations, see the Write Model Strategies page.

Default: true
Accepted Values: true or false
rate.limiting.every.n
Type: int

Description:
Number of batches of records the sink connector processes in order to trigger the rate limiting timeout. A value of 0 means no rate limiting.

Default: 0
Accepted Values: An integer
rate.limiting.timeout
Type: int

Description:
How long (in milliseconds) to wait before the sink connector should resume processing after reaching the rate limiting threshold.

Default: 0
Accepted Values: An integer
tasks.max
Type: int

Description:
The maximum number of tasks to create for this connector. The connector may create fewer than the maximum tasks specified if it cannot handle the level of parallelism you specify.

Importante

Várias tarefas podem processar mensagens fora de ordem

Se você especificar um valor maior que 1 , o conector habilitará o processamento paralelo das tarefas. Se o seu tópico tiver vários registros de partição, o que permite que o conector leia o tópico em paralelo, as tarefas poderão processar as mensagens fora de ordem.

Default: 1
Accepted Values: An integer

Voltar

Tópico do conector