Log de alterações da Data Federation
Nesta página
Observação
As notas de versão mencionam apenas versões com alterações de recursos
O MongoDB lança o Atlas Data Federation todas as semanas, melhorando continuamente o desempenho e a estabilidade do Atlas Data Federation. Essas notas de versão capturam apenas as versões que contêm alterações de recursos. Se uma versão específica do Atlas Data Federation contiver apenas melhorias de desempenho e estabilidade, ela não será incluída nessas notas de versão. Para identificar qual versão você está usando, verifique a string da versão de lançamento para ver a data de lançamento.
Lançamentos de 2024
Lançamento de18 de junho:2024
21 de 2024 maio:
Adiciona suporte para cargas de trabalho programáticas via OIDC para Atlas Data Federation. Para saber mais, consulte Configurar a Federação de Identidade do Volume de Trabalho com OAuth 2.0.
Se você for um usuário Admin ou um usuário com o privilégio
killop
, poderá usar o comando killOp para encerrar qualquer query em um banco de banco de dados federado. O usuário que emitiu a query também pode encerrá-la.
14 de 2024 maio:
Alterações em quais regiões processam dados para regiões não suportadas:
ca-central-1 (Montreal)
processará dados deca-west-1 (Alberta)
em vez deeu-west-1 (Ireland)
.ap-northeast-1 (Tokyo)
processará dados:de
ap-northeast-2 (Seoul)
em vez deeu-west-1 (Ireland)
.de
ap-northeast-3 (Osaka)
em vez deeu-west-1 (Ireland)
.de
ap-east-1 (Hong Kong)
em vez deap-southeast-2 (Sydney)
.
Corrige um problema em que o comando killOp foi impedido de encerrar uma query.
9 de 2024 abril:
Adiciona suporte para o estágio
$sql
nas visualizações do Atlas Data Federation.Corrige um problema em que, ao criar uma visualização, o Atlas Data Federation não estava verificando as permissões corretamente.
26 de março de 2024 Lançamento
Resolve um problema em que as datas geradas no formato ISO 8602 causavam resultados de query incorretos.
19 de março de 2024 Lançamento
Corrige um problema que impedia que o driver Python não conectasse ao usar a autenticação IAM do Amazon Web Services .
Corrige um problema que fazia com que as queries
$limit
falhassem com umInternalError
.Melhora a filtragem de partição de modelo no planejador de query, o que melhora o desempenho da query em determinados casos em várias fontes de armazenamento blob.
Versão de 28 de fevereiro de 2024
Torna os armazenamentos de dados do Azure disponíveis de forma geral para suas implantações de desenvolvimento e produção.
Lançamento de 14 de fevereiro de 2024
Suporta string de conexão separadas para conexões de endpoints privados para Atlas Data Federation e Atlas Online Archive.
Lançamento de 31 de janeiro de 2024
Oferece suporte ao Amazon Web Services IAM se você configurar o Amazon Web Services IAM para autenticação. Atualmente, isso não é suportado na UI do Atlas.
Lançamentos 2023
Lançamento de 05 de dezembro de 2023
Altera o erro
CommandNotSupported
paraCommandNotFound
.
Lançamento de 28 de novembro de 2023
Suporta OIDC para Microsoft Entra ID, Okta e Ping Identity como IdPs. Para saber mais, consulte Autenticação e autorização com OIDC/OAuth 2.0.
Lançamento de 31 de outubro de 2023
Melhora o desempenho ao ler de arquivos do Parquet .
Adiciona suporte para modificar visualizações com
collMod
.Adiciona o reconhecimento automático de arquivos
.jsonl
como arquivos JSON Lines.Corrige um problema com o sqlGenerateSchema onde ele não seria executado na fonte do Online Archive.
Lançamento de 22 de agosto de 2023
Adiciona um campo de registro de data e hora
lastModified
aos metadados de procedência de objetos do S3 . Para saber mais, consultedatabases.[n].collections.[n].dataSources.[n].provenanceFieldName
.Suporta metadados de procedência para conjuntos de dados de Atlas Online Archive.
Lançamento de 08 de agosto de 2023
Melhora a mensagem de erro por exceder o limite maxTimeMS .
Melhora os resultados de explicação () para queries destinadas a conjuntos de dados do Atlas Data Lake e Online Archives.
Lançamento de 01 de agosto de 2023
Melhora o desempenho de queries que utilizam o operador $ne .
Lançamento de 25 de julho de 2023
Permite definir a preocupação de leitura para o armazenamento de dados do Atlas cluster .
Lançamento de 27 de junho de 2023
Suporta a variável de agregação do
$$SEARCH_META
quando você executa query do$search
em um cluster do Atlas pelo Atlas Data Federation.
Lançamento de 13 de junho de 2023
Apresenta uma nova experiência de integração com modelos para os casos de uso mais comuns do Atlas Data Federation.
Melhora a mensagem de erro para $out para query S3 para fornecer mais detalhes.
Lançamento de 09 de maio de 2023
Otimiza os atributos de partição para selecionar arquivos no S3 ao utilizar o operador $in em pipelines de agregação.
Lançamento de 18 de abril de 2023
Modifica o comportamento de
$queryHistory
para indicar que uma query está concluída quando todos os lotes tiverem sido carregados como arquivos de cursor, todos os lotes tiverem sido retornados ao usuário ou houver um erro.Adiciona a capacidade de usar dados BSON para o campo de comentário em comandos.
Lançamento de 04 de abril de 2023
Melhora as mensagens de erro ao consultar um documento com mais de 16 MB.
Corrige um problema de correção para $getFields onde Atlas Data Federation diferia do MongoDB ao executar query de um subdocumento vazio.
Melhora a estabilidade e o desempenho de $out para S3 ao gravar no Parquet.
Lançamento de 21 de fevereiro de 2023
Corrige um problema com queries
$match
que resultavam em documentos não sendo retornados ao fazer query de documentos aninhados dentro de uma array em que qualquer documento aninhado não tinha o campo de destino.Melhora o desempenho e a estabilidade ao gravar no Parquet usando
$out
no S3.Adiciona a capacidade de usar qualquer tipo BSON com o operador
$comment
e a query em$queryHistory
. (A partir do MongoDB 5.1, o$comment
operador foi removido).O Atlas Data Federation agora retorna MongoDB 6.2.0 na saída buildInfo.
Lançamento de 15 de fevereiro de 2023
Adiciona a capacidade de limitar a quantidade de dados que o Atlas Data Federation processa para suas instância do banco de dados federado para controlar os custos.
Lançamento de 07 de fevereiro de 2023
Melhora as mensagens de erro quando um cliente tenta inserir, atualizar ou excluir um documento em uma instância do banco de dados federado.
Lançamento de 24 de janeiro de 2023
Adiciona o nome do aplicativo às conexões que o Atlas Data Federation cria para seus Atlas clusters.
Adiciona a capacidade de definir e atualizar a configuração de armazenamento usando a API do Atlas Data Federation.
Versão de 11 de janeiro de 2023
Corrige um problema que fez com que
maxTimeMS
com umbatchSize
de0
falhasse.
Lançamentos 2022
Lançamento de 19 de dezembro de 2022
Adiciona novos recursos à configuração de armazenamento para suportar a procedência dos dados e maior flexibilidade para federação.
Adiciona a região Amazon Web Services
ap-southeast-1
(Cingapura).
Lançamento de 30 de novembro de 2022
Atualiza o Atlas Data Federation para MongoDB 6.0.2.
Lançamento de 15 de novembro de 2022
Suporta killOp para collStats.
Lançamento de 25 de outubro de 2022
Melhora o desempenho e a estabilidade.
Melhora o desempenho da query em conjuntos de dados do Atlas Data Lake usando metadados de classificação para otimizar as queries.
Corrige um problema que fazia com que o Atlas Data Federation não pudesse ler um arquivo Parquet quando o esquema de nível superior ou raiz era marcado como
REPEATED
ouOPTIONAL
.Melhora a estabilidade ao gravar no Parquet usando
$out
no S3.
Lançamento de 13 de setembro de 2022
Corrige o problema de pipeline
$not
e$in
que causava preocupação de expressão não suportada.Melhora o desempenho de query do
$out
para S3 que gravam no formato de arquivo Parquet.Atualiza o tamanho máximo do grupo de linhas padrão para 128 MB para o gravador de parquet.
Melhora os estágios
$group
nos campos de partição do Conjunto de Dados do Data Lake.Corrige os pipelines de agregação com vários estágios
$lookup
em que um estágio define um campo e outro remove o mesmo campo.Corrige como o Atlas Data Federation lida com arquivos no S3 que terminam com o caractere delimitador (por exemplo, '/').
Lançamento de 23 de agosto de 2022
Melhora o desempenho e a estabilidade.
Adiciona suporte para a especificação opcional de um formato ISODate para otimizar o desempenho para partições do tipo data.
Versão de 02 de agosto de 2022
Melhora o desempenho e a estabilidade.
Executa $merge em parte.
Lançamento de 12 de julho de 2022
Melhora o desempenho e a estabilidade.
O Atlas agora cobra pelo número total de bytes que o Atlas Data Federation processa de fontes HTTP .
Adiciona suporte para a opção de background no estágio de aggregation $merge .
Lançamento de 21 de junho de 2022
Melhora o desempenho e a estabilidade.
Adiciona suporte para Atlas Data Lake como um "Tipo de Armazenamento" ao comando
createStore
.Melhora as mensagens de erro para query federadas
$search
.
07 de junho de 2022 Lançamento
Renomeia e reinicia a ingestão de dados como Atlas Data Federation.
Importante
O serviço do mecanismo de consulta federado anteriormente chamado de Atlas Data Lake agora é chamado de Atlas Data Federation. Para saber mais sobre o Atlas Data Federation, consulte Configurar e query o Data Federation.
Lançamento de 31 de maio de 2022
Melhora o desempenho e a estabilidade.
Desabilita o suporte para o dialeto MySQL.
Lançamento de 10 de maio de 2022
Melhora o desempenho e a estabilidade.
Versão de 19 de abril de 2022
Melhora o desempenho e a estabilidade.
Suporta os seguintes novos operadores de agregação MongoDB 5.2:
$sortArray
$topN
$bottomN
$maxN
$firstN
$lastN
Corrige um erro para permitir que você use a preferência de leitura para clusters fragmentados.
Lançamento de 29 de março de 2022
Melhora o desempenho e a estabilidade.
Lançamento de 15 de março de 2022
Melhora o desempenho e a estabilidade.
Impõe um limite superior em
maxRowGroupSize
.
Lançamento de 15 de fevereiro de 2022
Melhora o desempenho e a estabilidade.
Renomeia o campo
matchComments
paraqueryFilterComments
. Para saber mais, consulte Recuperar histórico de query da instância do banco de dados federado.
Lançamento de 18 de janeiro de 2022
Melhora o desempenho e a estabilidade.
Adiciona o campo
matchComments
ao histórico de queries. Para saber mais, consulte Recuperar histórico de queries do Data Lake.
Lançamentos de 2021
Lançamento de 28 de dezembro de 2021
Melhora o desempenho e a estabilidade.
Suporta query em collection prefixadas com
system
, mas não suporta query em collection prefixadas comsystem.
.
Lançamento de 07 de dezembro de 2021
Melhora o desempenho e a estabilidade.
Adiciona suporte para a opção $maxTimeMS .
Lançamento de 16 de novembro de 2021
Melhora o desempenho e a estabilidade.
Permite conexões com ingestão de dados por meio de endpoints privados.
Adiciona suporte para autorização X.509.
Adiciona suporte para parâmetros do
field
vazios com a expressão de agregação $setField .Corrige um problema em que os comandos retornavam zero códigos de saída em caso de falha.
Corrige um problema em que documentos com subdocumentos vazios gravados no Parquet continham grupos de parquet vazios.
Atualiza
EstimateRowGroupSize
para relatarUncompressedSize
para documentos armazenados no Parquet.Ajusta o valor mínimo para
maxRowGroupSize
ao utilizar o$out
para Parquet para 16 MB.Remove o suporte do uso de
$out
para gravar documentos que contêm campos duplicados no Parquet.Melhora as mensagens de erro para
$out
.
Lançamento de 27 de outubro de 2021
Melhora o desempenho e a estabilidade.
Inclui usuários X.509 no resultado do comando usersInfo .
Melhora o desempenho da autenticação SCRAM.
Lançamento de 05 de outubro de 2021
Melhora o desempenho e a estabilidade.
Adiciona suporte para o comando
authenticate
.Preserva subtipos binários no leitor/gravador de parquet.
Lançamento de 14 de setembro de 2021
Fornece várias melhorias de estabilidade e desempenho.
Adiciona suporte para a região
ap-south-1
.Gera logs de query do cliente em várias linhas.
Inclui o campo
background
na saída $queryHistory.Suporta reconhecimento de data center e collection curinga para o armazenamento de dados do Atlas.
Lançamento de 25 de agosto de 2021
Fornece várias melhorias de estabilidade.
Melhora o desempenho e a estabilidade dos comandos
collStats
edbStats
.Adiciona suporte para o estágio do pipeline de agregação do
$merge
.Permite
localField
eforeignField
com uma sintaxe de estágio de pipeline de agregação $lookup mais expressiva.Implementa o acumulador
$count
.
Lançamento de 03 de agosto de 2021
Melhora o desempenho.
Melhora as mensagens de erro.
Adiciona os campos
computeTime
eautomaticRefreshInProgress
às saídas de comandocollStats
edbStats
.
Lançamento de 12 de julho de 2021
Suporta a eliminação de armazenamentos e reconhecimento de data center inexistentes da configuração de armazenamento.
Inclui
partitions.count
na saída do comando collStats .
Lançamento de 23 de junho de 2021
Permite baixar os registros de query do Data Federation a partir da UI e da API.
Remove a restrição de grandes namespace de collection.
Adiciona a opção para ignorar o cache para collStats e dbStats para buscar as estatísticas mais recentes.
Suporta o comando serverStatus .
Lançamento de 8 de junho de 2021
Melhora a estabilidade e o desempenho.
Suporta armazenamentos de dados públicos do S3 com o sinalizador de configuração do
public
.Suporta compressão padrão ao federar query para cluster do Atlas.
Adiciona o campo
db
ao resultadodbStats
.
Lançamento de 11 de maio de 2021
Suporta a seleção de read preference, read tags e max staleness por meio da configuração de armazenamento para armazenamentos do Atlas Cluster.
Rejeita comandos enviados com um conjunto de API versionada.
Habilita o parâmetro
count
no estágio de agregação da ingestão de dados$collStats
.Não é mais permitido
$collStats
em$facet
subpipelines.Impõe o tamanho máximo do documento para
$facet
após o processamento de cada item.Melhora o desempenho de
$match
estágios.Melhora as mensagens de erro.
Lançamento de 21 de abril de 2021
Melhora a estabilidade e o desempenho.
Inclui suporte aprimorado para Parquet.
Suporta
M0
,M2
, &M5
cluster do Atlas como conjunto de dados.Adiciona a opção de correspondência de padrão regex para collection curinga de cluster do Atlas.
Inclui mensagens de erro atualizadas para o limite de execução da query.
Lançamento em 30 de março de 2021
Gera a configuração de armazenamento automaticamente pela primeira vez após a autenticação do usuário.
Retorna a ID da conexão por meio do comando
hello
.Suporta
$geoNear
em coleções do Atlas Data Lake que abrangem vários clusters do Atlas.Inclui várias melhorias de desempenho.
Inclui mensagens de erro aprimoradas para query encerradas.
Lançamento de 09 de março de 2021
Inclui nova interface de configuração de armazenamento e integração.
Mensagem de erro de esquema SQL aprimorada.
Suporte a pushdown de query para collection compostas por múltiplas collection do Atlas.
Melhora a estabilidade e o desempenho.
Lançamento de 16 de fevereiro de 2021
Adiciona a geração de esquema SQL para collection de curingas.
Corrige problemas de estabilidade e desempenho.
Lançamento de 26 de janeiro de 2021
Adiciona um novo
$sql
formatVersion
para reduzir o tamanho dos dados do conjunto de resultados.Melhora o desempenho do
$lookup
.Adiciona suporte
"verbosity": "queryPlannerExtended"
ao comando explain para filtrar partições não correspondentes.Adiciona suporte para $$NOW.
Relata o Atlas Data Lake como MongoDB versão 4.4 para as ferramentas.
Lançamento de 5 de janeiro de 2021
Adiciona suporte para a opção de background no estágio de aggregation $out to Atlas .
Inclui melhorias de estabilidade e desempenho.
Lançamentos de 2020
Lançamento de 16 de dezembro de 2020
Adiciona a opção
{background: true}
, que permite que a query seja executada em segundo plano para$out
no estágio S3 .Apresenta o estágio de aggregation
$queryHistory
para visualizar query anteriores.Inclui várias melhorias de desempenho e estabilidade.
Lançamento de 24 de novembro de 2020
Suporta os formatos Parquet, CSV e TSV para
$out
a S3.Adiciona um limite contínuo para cursores.
Melhora as mensagens de erro para comandos que não podem ser analisados.
Lançamento de 03 de novembro de 2020
Suporta os estágios de
$geoNear
$graphLookup
pipeline de agregação e em queries sobre coleções de instância do banco de dados federado que referenciam uma única coleção do Atlas.Atualiza informações resumidas no resultado de explicação .
Lançamento de 13 de outubro de 2020
Suporta
defaultFormat
para arquivos em URLs acessíveis publicamente em armazenamentos HTTP .Limita o número de query simultâneas para 30 por instância do banco de dados federado.
Suporta o formato de compressão
bzip2
.Suporta a opção
comment
para o comando agregado .Inclui várias melhorias de desempenho e estabilidade.
Lançamento de 22 de setembro de 2020
Suporta o comando killOp para encerrar uma query de longa duração.
Adiciona
configuration
para o número máximo de collection de curingas para armazenamentos de instância do banco de dados federado S3 .
Lançamento de 01 de setembro de 2020
Suporta HTTP URL como conjunto de dados.
Suporta o Amazon Web Services S3 Nívelinteligente e acesso padrão-infrequente classes de armazenamento.
Suporta o estágio de agregação
$unionWith
.Restringe a autenticação de string de conexão da instância do banco de dados federado a um usuário por vez.
Inclui melhorias gerais de desempenho e estabilidade.
Lançamento de 18 de agosto de 2020
Melhora o desempenho de gravação do $out para S3 .
Inclui melhorias gerais de desempenho e estabilidade.
Lançamento de 13 de agosto de 2020
Adiciona
correlationID
à saída $currentOp .Inclui melhorias gerais de desempenho e estabilidade.
Lançamento de 28 de julho de 2020
Relaxa o requisito
$out
região S3 .Inclui mensagens de erro de configuração de armazenamento aprimoradas.
Inclui melhorias gerais de desempenho e estabilidade.
Lançamento de 14 de julho de 2020
Suporta o estágio do pipeline de agregação
$collStats
.Inclui otimizações de desempenho para ORC arquivos.
Inclui melhorias gerais de desempenho e estabilidade.
Lançamento de 07 de julho de 2020
Adiciona suporte para os campos
skip
elimit
ao comandocount()
.
Lançamento de 16 de junho de 2020
Adiciona o comando
storageValidateConfig
para validar a configuração de armazenamento da instância do banco de dados federado.Inclui correções de bugs e melhorias de desempenho.
Lançamento de 02 de junho de 2020
Inclui melhorias gerais de desempenho e estabilidade.
Lançamento de 26 de maio de 2020
Adiciona suporte para Atlas Clusters como fonte de dados.
Melhora o desempenho do aggregation pipeline stage
$lookup
.Adiciona suporte para avaliar expressões de string $convert no
filename
para$out
a S3.Atualiza o Parquet suporte para tipos de MAP.
Melhora as mensagens de erro para
$out
para S3.Adiciona um comando para gerar uma configuração de armazenamento.
Lançamento de 12 de maio de 2020
Automatiza a geração de configuração de armazenamento para instância do banco de dados federado recém-criadas.
Permite gravar dados com reconhecimento de particionamento no S3 usando o
$out
no Data Federation.
Lançamento de 05 de maio de 2020
Gera configurações de armazenamento quando o Atlas cria uma instância do banco de dados federado.
Adiciona suporte para
$out
a S3.Suporte de atualizações para o Apache Parquet LIST elemento.
Atualiza o suporte ao protocolo de fio para 4.2 de 3.6.
Adiciona suporte para verbosidade no plano de explicação.
Lançamento de 26 de abril de 2020
Corrige problemas de estabilidade.
Lançamento de 14 de abril de 2020
Melhora o desempenho.
Oferece suporte ao estágio $currentOp para que você possa monitorar o progresso da query em queries de longa duração.
Atualiza o atributo ISODate para aceitar formatos adicionais.
Atualiza o catálogo de metadados quando você usa os comandos de Configuração de Armazenamento .
Lançamento de 26 de março de 2020
Lançamento de 09 de março de 2020
Permite conceder opcionalmente acesso de gravação de instância do banco de dados federado a buckets S3 , permitindo o uso da semântica
$out
para escrever diretamente nesses buckets.Adiciona comandos incrementais de armazenamento, reconhecimento de data center, collection e visualização para o gerenciamento da configuração de armazenamento.
Limita as collection retornadas para collection curinga a 1.000.
Atualiza o formato da configuração de armazenamento.
Lançamento de 11 de fevereiro de 2020
Suporta queries
$lookup
entre bancos de dados.Suporta extensões de arquivo em minúsculas e maiúsculas.
Os segmentos de modelo agora suportam nomes de atributos separados por pontos que correspondem a campos aninhados.
Lançamento de 21 de janeiro de 2020
Permite que o defaultFormat seja especificado sem um ponto à esquerda.
Suporta filtragem com base em faixas para arquivos no formato ORC.
Permite que atributos de query sejam extraídos após o primeiro estágio.
Lançamentos de 2019
Lançamento em 10 de dezembro de 2019
Inclui várias melhorias de desempenho e estabilidade.
Suporta definição de partição para o seguinte:
epoch_secs
, que é um segundo desde a Era UNIXepoch_millis
, que é milésimos de segundo desde a Era UNIXUUID
, que é o subtipo binário 4
Lançamento de 11 de novembro de 2019
Inclui várias melhorias de desempenho e estabilidade.
Adiciona suporte para leitura de arquivos Apache ORC.
Lançamento de 29 de outubro de 2019
Suporta a filtragem de partições por grupo de linhas de arquivos Parquet estatísticas.
Suporta ObjectIds no caminho ao especificar a partição
databases.<database>.<collection>.[n].definition
.
Lançamento de 08 de outubro de 2019
Retorna um erro se uma query produzir um documento maior que 16 MiB.
O estágio
$indexStats
agora produz uma lista vazia de índices em vez de um erro.Suporta o formato de armazenamento
$out
a S3 em JSON.$match
agora trata implicitamente todos os termos como conjunções.Não analisa mais arquivos vazios.
Corrige um problema que fez com que a expressão
{$match: {$expr: {$and: []}}}
encerrasse a conexão.
Lançamento de 17 de setembro de 2019
Permite campos aninhados em definições de partição.
Não enumera mais diretórios no S3 quando um único subdiretório contendo todas as partições correspondentes à query é identificado.
Corrige um problema em que a nova configuração de armazenamento não aparecia na conexão de emissão após a execução de setStorageConfig.
Lançamento de 21 de agosto de 2019
Inclui suporte para o comando do banco de dados do
getLastError
.Corrige um erro na forma como os tipos de união são tratados na Avro.
Suporta o estágio do pipeline de agregação
$out
ao S3.listIndexes
agora sempre retorna uma lista vazia.Traduz chaves CSV e TSV delimitadas por ponto em subdocumentos.
A mensagem de erro de configuração de armazenamento agora inclui um link para a documentação.
Suporta o formato de arquivo SQLSX.
Inclui o ID de correlação em mensagens de erro de execução de query.
Retorna um erro ao cliente quando o limite de armazenamento do cursor é atingido.
Retorna um erro para o cliente no último
getMore
se o limite de armazenamento do cursor for excedido.
30 de julho de 2019
Suporta
listCommands
. Por exemplo:db.runCommand({"listCommands": 1})
Inclui informações de tamanho de partição na saída de
explain()
.
08 de julho de 2019
Retorna o primeiro lote de resultados do cursor mais rapidamente.
Melhora o desempenho do
$lookup
quando combinado com$unwind
.Suporta automaticamente credenciais do
SCRAM-SHA-1
sem exigir que drivers especifiquem este mecanismo de autenticação.Fornece uma mensagem de erro descritiva quando o formato do arquivo é desconhecido.
Fornece validação adicional no setStorageConfig.
18 de junho de 2019
Lançamento inicial da pré-visualização pública da Configuração e query de Data Federation.