Notas de versão

MongoDB connector para Spark 10.3

A versão do connector 10.3 inclui as seguintes novas funcionalidades:

• Foi adicionado suporte para a leitura de várias collections ao usar modos de microlote ou streaming contínuo.

  Aviso

  alteração interruptiva

  O suporte para a leitura de várias collections introduz as seguintes alterações significativas:

  • Se o nome de uma collection usada em sua opção de configuração collection contiver uma vírgula, o conector Spark a tratará como duas collections diferentes. Para evitar isso, você deve escapar da vírgula precedendo-a com uma barra invertida (\).

  • Se o nome de uma collection usada em sua opção de configuração collection for "*", o Spark Connector o interpretará como uma especificação para verificar todas as collections. Para evitar isso, você deve escapar do asterisco precedendo-o com uma barra invertida (\).

  • Se o nome de uma coleção usada em sua opção de configuração do collection contiver uma barra invertida (\), o Spark Connector tratará a barra invertida como um caractere de escape, o que pode alterar a forma como ele interpreta o valor. Para evitar isso, você deve escapar da barra invertida precedendo-a com outra barra invertida.

  Para saber mais sobre a digitalização de várias collections, consulte a descrição da propriedade de configuração da collection .

MongoDB connector para Spark 10.2

A versão do connector 10.2 inclui os seguintes novos recursos:

• Foi adicionada a propriedade de configuração de gravação ignoreNullValues, que permite controlar se o connector ignora valores nulos. Em versões anteriores, o connector sempre escreveu valores null para MongoDB.

• Foram adicionadas opções para a propriedade de configuração de gravação convertJson .

• Foi adicionada a propriedade de configuração de leitura change.stream.micro.batch.max.partition.count , que permite dividir microlotes em várias partições para processamento paralelo.

• Inferência de esquema de fluxo de alteração aprimorada ao usar a propriedade de configuração de leitura change.stream.publish.full.document.only .

• Foi adicionada a propriedade de configuração de leitura change.stream.startup.mode, que especifica como o connector processa eventos de alteração quando nenhum deslocamento está disponível.

• Suporte para adicionar um comentário às operações.

MongoDB connector do para Spark 10.1.1

• Corrigido um bug no qual as agregações, incluindo o estágio de pipeline $collStats , não retornavam um campo de contagem para coleções de séries temporais.

MongoDB connector do para Spark 10.1.0

• Suporte para Scala 2.13.

• Suporte para o modo de microlote com o Spark Structured Streaming.

• Suporte para tipos de dados BSON.

• Suporte aprimorado ao particionador para coleções vazias.

• Opção para desabilitar a atualização automática em operações de gravação.

• Inferência de esquema aprimorada para arrays vazias.

• Suporte para valores nulos em arrays e listas. O connector agora grava esses valores no MongoDB em vez de lançar uma exceção.

Consulte esta publicação no blog MongoDB para obter mais informações.

MongoDB connector do para Spark 10.0.0

• Suporte para Spark Structured Streaming.