Menu Docs
Página inicial do Docs
/
MongoDB Atlas
/

Log de alterações da Data Federation

Nesta página

  • Lançamentos de 2024
  • Lançamentos 2023
  • Lançamentos 2022
  • Lançamentos de 2021
  • Lançamentos de 2020
  • Lançamentos de 2019

Observação

As notas de versão mencionam apenas versões com alterações de recursos

O MongoDB lança o Atlas Data Federation todas as semanas, melhorando continuamente o desempenho e a estabilidade do Atlas Data Federation. Essas notas de versão capturam apenas as versões que contêm alterações de recursos. Se uma versão específica do Atlas Data Federation contiver apenas melhorias de desempenho e estabilidade, ela não será incluída nessas notas de versão. Para identificar qual versão você está usando, verifique a string da versão de lançamento para ver a data de lançamento.

  • Suporta a capacidade de ler arquivos doParquet com compressão de coluna zstd .

  • Alterações em quais regiões processam dados para regiões não suportadas:

    • ca-central-1 (Montreal) processará dados de ca-west-1 (Alberta) em vez de eu-west-1 (Ireland).

    • ap-northeast-1 (Tokyo) processará dados:

      • de ap-northeast-2 (Seoul) em vez de eu-west-1 (Ireland).

      • de ap-northeast-3 (Osaka) em vez de eu-west-1 (Ireland).

      • de ap-east-1 (Hong Kong) em vez de ap-southeast-2 (Sydney).

  • Corrige um problema em que o comando killOp foi impedido de encerrar uma query.

  • Adiciona suporte para o estágio $sql nas visualizações do Atlas Data Federation.

  • Corrige um problema em que, ao criar uma visualização, o Atlas Data Federation não estava verificando as permissões corretamente.

  • Resolve um problema em que as datas geradas no formato ISO 8602 causavam resultados de query incorretos.

  • Corrige um problema que impedia que o driver Python não conectasse ao usar a autenticação IAM do Amazon Web Services .

  • Corrige um problema que fazia com que as queries $limit falhassem com um InternalError.

  • Melhora a filtragem de partição de modelo no planejador de query, o que melhora o desempenho da query em determinados casos em várias fontes de armazenamento blob.

  • Altera o erro CommandNotSupported para CommandNotFound.

  • Melhora o desempenho ao ler de arquivos do Parquet .

  • Adiciona suporte para modificar visualizações com collMod.

  • Adiciona o reconhecimento automático de arquivos .jsonl como arquivos JSON Lines.

  • Corrige um problema com o sqlGenerateSchema onde ele não seria executado na fonte do Online Archive.

  • Melhora o desempenho de queries que utilizam o operador $ne .

  • Suporta a variável de agregação do $$SEARCH_META quando você executa query do $search em um cluster do Atlas pelo Atlas Data Federation.

  • Apresenta uma nova experiência de integração com modelos para os casos de uso mais comuns do Atlas Data Federation.

  • Melhora a mensagem de erro para $out para query S3 para fornecer mais detalhes.

  • Otimiza os atributos de partição para selecionar arquivos no S3 ao utilizar o operador $in em pipelines de agregação.

  • Modifica o comportamento de $queryHistory para indicar que uma query está concluída quando todos os lotes tiverem sido carregados como arquivos de cursor, todos os lotes tiverem sido retornados ao usuário ou houver um erro.

  • Adiciona a capacidade de usar dados BSON para o campo de comentário em comandos.

  • Melhora as mensagens de erro ao consultar um documento com mais de 16 MB.

  • Corrige um problema de correção para $getFields onde Atlas Data Federation diferia do MongoDB ao executar query de um subdocumento vazio.

  • Melhora a estabilidade e o desempenho de $out para S3 ao gravar no Parquet.

  • Corrige um problema com queries $match que resultavam em documentos não sendo retornados ao fazer query de documentos aninhados dentro de uma array em que qualquer documento aninhado não tinha o campo de destino.

  • Melhora o desempenho e a estabilidade ao gravar no Parquet usando $out no S3.

  • Adiciona a capacidade de usar qualquer tipo BSON com o operador $comment e a query em $queryHistory. (A partir do MongoDB 5.1, o $comment operador foi removido).

  • O Atlas Data Federation agora retorna MongoDB 6.2.0 na saída buildInfo.

  • Adiciona a capacidade de limitar a quantidade de dados que o Atlas Data Federation processa para suas instância do banco de dados federado para controlar os custos.

  • Melhora as mensagens de erro quando um cliente tenta inserir, atualizar ou excluir um documento em uma instância do banco de dados federado.

  • Adiciona o nome do aplicativo às conexões que o Atlas Data Federation cria para seus Atlas clusters.

  • Adiciona a capacidade de definir e atualizar a configuração de armazenamento usando a API do Atlas Data Federation.

  • Corrige um problema que fez com que maxTimeMS com um batchSize de 0 falhasse.

  • Atualiza o Atlas Data Federation para MongoDB 6.0.2.

  • Melhora o desempenho e a estabilidade.

  • Melhora o desempenho da query em conjuntos de dados do Atlas Data Lake usando metadados de classificação para otimizar as queries.

  • Corrige um problema que fazia com que o Atlas Data Federation não pudesse ler um arquivo Parquet quando o esquema de nível superior ou raiz era marcado como REPEATED ou OPTIONAL.

  • Melhora a estabilidade ao gravar no Parquet usando $out no S3.

  • Corrige o problema de pipeline $not e $in que causava preocupação de expressão não suportada.

  • Melhora o desempenho de query do $out para S3 que gravam no formato de arquivo Parquet.

  • Atualiza o tamanho máximo do grupo de linhas padrão para 128 MB para o gravador de parquet.

  • Melhora os estágios $group nos campos de partição do Conjunto de Dados do Data Lake.

  • Corrige os pipelines de agregação com vários estágios $lookup em que um estágio define um campo e outro remove o mesmo campo.

  • Corrige como o Atlas Data Federation lida com arquivos no S3 que terminam com o caractere delimitador (por exemplo, '/').

  • Melhora o desempenho e a estabilidade.

  • Adiciona suporte para a especificação opcional de um formato ISODate para otimizar o desempenho para partições do tipo data.

  • Melhora o desempenho e a estabilidade.

  • Executa $merge em parte.

  • Melhora o desempenho e a estabilidade.

  • O Atlas agora cobra pelo número total de bytes que o Atlas Data Federation processa de fontes HTTP .

  • Adiciona suporte para a opção de background no estágio de aggregation $merge .

  • Melhora o desempenho e a estabilidade.

  • Adiciona suporte para Atlas Data Lake como um "Tipo de Armazenamento" ao comando createStore .

  • Melhora as mensagens de erro para query federadas $search .

  • Renomeia e reinicia a ingestão de dados como Atlas Data Federation.

    Importante

    O serviço do mecanismo de consulta federado anteriormente chamado de Atlas Data Lake agora é chamado de Atlas Data Federation. Para saber mais sobre o Atlas Data Federation, consulte Configurar e query o Data Federation.

  • Melhora o desempenho e a estabilidade.

  • Desabilita o suporte para o dialeto MySQL.

  • Melhora o desempenho e a estabilidade.

  • Melhora o desempenho e a estabilidade.

  • Suporta os seguintes novos operadores de agregação MongoDB 5.2:

    • $sortArray

    • $topN

    • $bottomN

    • $maxN

    • $firstN

    • $lastN

  • Corrige um erro para permitir que você use a preferência de leitura para clusters fragmentados.

  • Melhora o desempenho e a estabilidade.

  • Melhora o desempenho e a estabilidade.

  • Impõe um limite superior em maxRowGroupSize.

  • Melhora o desempenho e a estabilidade.

  • Suporta query em collection prefixadas com system, mas não suporta query em collection prefixadas com system..

  • Melhora o desempenho e a estabilidade.

  • Adiciona suporte para a opção $maxTimeMS .

  • Melhora o desempenho e a estabilidade.

  • Permite conexões com ingestão de dados por meio de endpoints privados.

  • Adiciona suporte para autorização X.509.

  • Adiciona suporte para parâmetros do field vazios com a expressão de agregação $setField .

  • Corrige um problema em que os comandos retornavam zero códigos de saída em caso de falha.

  • Corrige um problema em que documentos com subdocumentos vazios gravados no Parquet continham grupos de parquet vazios.

  • Atualiza EstimateRowGroupSize para relatar UncompressedSize para documentos armazenados no Parquet.

  • Ajusta o valor mínimo para maxRowGroupSize ao utilizar o $out para Parquet para 16 MB.

  • Remove o suporte do uso de $out para gravar documentos que contêm campos duplicados no Parquet.

  • Melhora as mensagens de erro para $out.

  • Melhora o desempenho e a estabilidade.

  • Inclui usuários X.509 no resultado do comando usersInfo .

  • Melhora o desempenho da autenticação SCRAM.

  • Melhora o desempenho e a estabilidade.

  • Adiciona suporte para o comando authenticate .

  • Preserva subtipos binários no leitor/gravador de parquet.

  • Fornece várias melhorias de estabilidade.

  • Melhora o desempenho e a estabilidade dos comandos collStats e dbStats .

  • Adiciona suporte para o estágio do pipeline de agregação do $merge .

  • Permite localField e foreignField com uma sintaxe de estágio de pipeline de agregação $lookup mais expressiva.

  • Implementa o acumulador $count .

  • Melhora o desempenho.

  • Melhora as mensagens de erro.

  • Adiciona os campos computeTime e automaticRefreshInProgress às saídas de comando collStats e dbStats .

  • Permite baixar os registros de query do Data Federation a partir da UI e da API.

  • Remove a restrição de grandes namespace de collection.

  • Adiciona a opção para ignorar o cache para collStats e dbStats para buscar as estatísticas mais recentes.

  • Suporta o comando serverStatus .

  • Melhora a estabilidade e o desempenho.

  • Suporta armazenamentos de dados públicos do S3 com o sinalizador de configuração do public .

  • Suporta compressão padrão ao federar query para cluster do Atlas.

  • Adiciona o campo db ao resultado dbStats .

  • Suporta a seleção de read preference, read tags e max staleness por meio da configuração de armazenamento para armazenamentos do Atlas Cluster.

  • Rejeita comandos enviados com um conjunto de API versionada.

  • Habilita o parâmetro count no estágio de agregação da ingestão de dados $collStats .

  • Não é mais permitido $collStats em $facet subpipelines.

  • Impõe o tamanho máximo do documento para $facet após o processamento de cada item.

  • Melhora o desempenho de $match estágios.

  • Melhora as mensagens de erro.

  • Melhora a estabilidade e o desempenho.

  • Inclui suporte aprimorado para Parquet.

  • Suporta M0, M2, & M5 cluster do Atlas como conjunto de dados.

  • Adiciona a opção de correspondência de padrão regex para collection curinga de cluster do Atlas.

  • Inclui mensagens de erro atualizadas para o limite de execução da query.

  • Gera a configuração de armazenamento automaticamente pela primeira vez após a autenticação do usuário.

  • Retorna a ID da conexão por meio do comando hello .

  • Suporta $geoNear em coleções do Atlas Data Lake que abrangem vários clusters do Atlas.

  • Inclui várias melhorias de desempenho.

  • Inclui mensagens de erro aprimoradas para query encerradas.

  • Inclui nova interface de configuração de armazenamento e integração.

  • Mensagem de erro de esquema SQL aprimorada.

  • Suporte a pushdown de query para collection compostas por múltiplas collection do Atlas.

  • Melhora a estabilidade e o desempenho.

  • Adiciona um novo $sql formatVersion para reduzir o tamanho dos dados do conjunto de resultados.

  • Melhora o desempenho do $lookup.

  • Adiciona suporte "verbosity": "queryPlannerExtended" ao comando explain para filtrar partições não correspondentes.

  • Adiciona suporte para $$NOW.

  • Relata o Atlas Data Lake como MongoDB versão 4.4 para as ferramentas.

  • Adiciona suporte para a opção de background no estágio de aggregation $out to Atlas .

  • Inclui melhorias de estabilidade e desempenho.

  • Adiciona a opção {background: true} , que permite que a query seja executada em segundo plano para $out no estágio S3 .

  • Apresenta o estágio de aggregation $queryHistory para visualizar query anteriores.

  • Inclui várias melhorias de desempenho e estabilidade.

  • Suporta os formatos Parquet, CSV e TSV para $out a S3.

  • Adiciona um limite contínuo para cursores.

  • Melhora as mensagens de erro para comandos que não podem ser analisados.

  • Suporta os estágios de $geoNear $graphLookup pipeline de agregação e em queries sobre coleções de instância do banco de dados federado que referenciam uma única coleção do Atlas.

  • Atualiza informações resumidas no resultado de explicação .

  • Suporta defaultFormat para arquivos em URLs acessíveis publicamente em armazenamentos HTTP .

  • Limita o número de query simultâneas para 30 por instância do banco de dados federado.

  • Suporta o formato de compressão bzip2 .

  • Suporta a opção comment para o comando agregado .

  • Inclui várias melhorias de desempenho e estabilidade.

  • Suporta o comando killOp para encerrar uma query de longa duração.

  • Adiciona configuration para o número máximo de collection de curingas para armazenamentos de instância do banco de dados federado S3 .

  • Melhora o desempenho de gravação do $out para S3 .

  • Inclui melhorias gerais de desempenho e estabilidade.

  • Adiciona correlationID à saída $currentOp .

  • Inclui melhorias gerais de desempenho e estabilidade.

  • Suporta o estágio do pipeline de agregação $collStats .

  • Inclui otimizações de desempenho para ORC arquivos.

  • Inclui melhorias gerais de desempenho e estabilidade.

  • Adiciona suporte para os campos skip e limit ao comando count() .

  • Inclui melhorias gerais de desempenho e estabilidade.

  • Adiciona suporte para Atlas Clusters como fonte de dados.

  • Melhora o desempenho do aggregation pipeline stage $lookup .

  • Adiciona suporte para avaliar expressões de string $convert no filename para $out a S3.

  • Atualiza o Parquet suporte para tipos de MAP.

  • Melhora as mensagens de erro para $out para S3.

  • Adiciona um comando para gerar uma configuração de armazenamento.

  • Automatiza a geração de configuração de armazenamento para instância do banco de dados federado recém-criadas.

  • Permite gravar dados com reconhecimento de particionamento no S3 usando o $out no Data Federation.

  • Gera configurações de armazenamento quando o Atlas cria uma instância do banco de dados federado.

  • Adiciona suporte para $out a S3.

  • Suporte de atualizações para o Apache Parquet LIST elemento.

  • Atualiza o suporte ao protocolo de fio para 4.2 de 3.6.

  • Adiciona suporte para verbosidade no plano de explicação.

  • Corrige problemas de estabilidade.

  • Melhora o desempenho.

  • Oferece suporte ao estágio $currentOp para que você possa monitorar o progresso da query em queries de longa duração.

  • Atualiza o atributo ISODate para aceitar formatos adicionais.

  • Atualiza o catálogo de metadados quando você usa os comandos de Configuração de Armazenamento .

  • Inclui várias melhorias de desempenho e estabilidade.

  • Suporta referências de campo de nome de arquivo para $out.

  • Suporta $toString em $out a S3.

  • Permite conceder opcionalmente acesso de gravação de instância do banco de dados federado a buckets S3 , permitindo o uso da semântica $out para escrever diretamente nesses buckets.

  • Adiciona comandos incrementais de armazenamento, reconhecimento de data center, collection e visualização para o gerenciamento da configuração de armazenamento.

  • Limita as collection retornadas para collection curinga a 1.000.

  • Atualiza o formato da configuração de armazenamento.

  • Suporta queries $lookup entre bancos de dados.

  • Suporta extensões de arquivo em minúsculas e maiúsculas.

  • Os segmentos de modelo agora suportam nomes de atributos separados por pontos que correspondem a campos aninhados.

  • Permite que o defaultFormat seja especificado sem um ponto à esquerda.

  • Suporta filtragem com base em faixas para arquivos no formato ORC.

  • Permite que atributos de query sejam extraídos após o primeiro estágio.

  • Inclui várias melhorias de desempenho e estabilidade.

  • Suporta definição de partição para o seguinte:

    • epoch_secs, que é um segundo desde a Era UNIX

    • epoch_millis, que é milésimos de segundo desde a Era UNIX

    • UUID, que é o subtipo binário 4

  • Inclui várias melhorias de desempenho e estabilidade.

  • Adiciona suporte para leitura de arquivos Apache ORC.

  • Suporta a filtragem de partições por grupo de linhas de arquivos Parquet estatísticas.

  • Suporta ObjectIds no caminho ao especificar a partição databases.<database>.<collection>.[n].definition.

  • Retorna um erro se uma query produzir um documento maior que 16 MiB.

  • O estágio $indexStats agora produz uma lista vazia de índices em vez de um erro.

  • Suporta o formato de armazenamento $out a S3 em JSON.

  • $match agora trata implicitamente todos os termos como conjunções.

  • Não analisa mais arquivos vazios.

  • Corrige um problema que fez com que a expressão {$match: {$expr: {$and: []}}} encerrasse a conexão.

  • Permite campos aninhados em definições de partição.

  • Não enumera mais diretórios no S3 quando um único subdiretório contendo todas as partições correspondentes à query é identificado.

  • Corrige um problema em que a nova configuração de armazenamento não aparecia na conexão de emissão após a execução de setStorageConfig.

  • Inclui suporte para o comando do banco de dados do getLastError .

  • Corrige um erro na forma como os tipos de união são tratados na Avro.

  • Suporta o estágio do pipeline de agregação $out ao S3.

  • listIndexes agora sempre retorna uma lista vazia.

  • Traduz chaves CSV e TSV delimitadas por ponto em subdocumentos.

  • A mensagem de erro de configuração de armazenamento agora inclui um link para a documentação.

  • Suporta o formato de arquivo SQLSX.

  • Inclui o ID de correlação em mensagens de erro de execução de query.

  • Retorna um erro ao cliente quando o limite de armazenamento do cursor é atingido.

  • Retorna um erro para o cliente no último getMore se o limite de armazenamento do cursor for excedido.

  • Suporta listCommands. Por exemplo: db.runCommand({"listCommands": 1})

  • Inclui informações de tamanho de partição na saída de explain().

  • Retorna o primeiro lote de resultados do cursor mais rapidamente.

  • Melhora o desempenho do $lookup quando combinado com $unwind.

  • Suporta automaticamente credenciais do SCRAM-SHA-1 sem exigir que drivers especifiquem este mecanismo de autenticação.

  • Fornece uma mensagem de erro descritiva quando o formato do arquivo é desconhecido.

  • Fornece validação adicional no setStorageConfig.

Lançamento inicial da pré-visualização pública da Configuração e query de Data Federation.

Voltar

Atlas