Archive Data
Nesta página
- Visão geral
- Requisitos de cluster
- Permissões necessárias
- Como o Atlas arquiva dados
- Atlas Data Federation para Online Archive
- Limitações
- Visualizando o Online Archive
- Consultando o Online Archive
- Gerenciando Limites de Consulta para Arquivo Online
- Editando o Online Archive
- Excluindo o Online Archives
- Custos de arquivamento online
- Gerencie seu arquivo online
Importante
Recurso Indisponível em Clusters Flex e Instâncias sem Servidor
Neste momento, os clusters flexíveis e as instâncias sem servidor não permitem essa funcionalidade. Para saber mais, consulte Limitações do {+Atlas Flex+} e Limitações de instância sem servidor.
Visão geral
O Atlas move dados acessados com pouca frequência do seu cluster do Atlas para uma Instância de Banco de Dados Federada gerenciada pelo MongoDB somente para leitura em um armazenamento de objetos na nuvem. Depois que o Atlas arquiva os dados, você tem uma visão unificada dos dados do Atlas e do Online Archive por meio de uma instância de banco de dados federado somente para leitura.
Os dados dos arquivos do Atlas são baseados nos critérios especificados em uma regra de arquivamento. Os critérios variam com base no tipo de coleção que você deseja arquivar:
Para coleções padrão, os critérios podem ser um dos seguintes:
Uma combinação de um campo de data para arquivar dados e número de dias para manter os dados no agrupamento do Atlas. Quando a data atual exceder o valor do campo de data especificado, o Atlas subtrai o número de dias do tempo atual e então arquiva os dados após o tempo.
Uma consulta personalizada. O Atlas executa a consulta especificada na regra de arquivamento para selecionar os documentos a arquivar.
Para coleções de séries temporais, o critério é uma combinação de um campo de tempo e o número de dias para manter os dados no cluster do Atlas. Quando a hora atual excede o valor do campo de hora especificado, o Atlas subtrai o número de dias da hora atual e arquiva os dados após esses muitos dias, horas e minutos.
Quando configura um Online Archive no seu cluster, o Atlas cria duas instâncias do banco de dados federado:
Instância de banco de dados federado para seu arquivo que permite consultar dados apenas em seu arquivo .
Instância de banco de dados federado para seu cluster e arquivo que permite consultar cluster quanto os dados arquivados.
Requisitos de cluster
O Online archive no Atlas está disponível somente em M10
e clusters maiores.
Permissões necessárias
Para criar ou excluir um Arquivo Online, você deve ter uma destas funções:
função
Project Data Access Admin
função
Project Cluster Manager
função
Project Owner
Como o Atlas arquiva dados
Para arquivar dados:
Para cada arquivo, o Atlas executa uma consulta no namespace do arquivo para identificar os documentos que correspondem aos critérios de arquivamento. Atlas refere-se a esta consulta no namespace de um arquivo específico como uma tarefa.
Por padrão, o Atlas executa o trabalho a cada cinco minutos. Se o tamanho de documentos para arquivar não atendem ao limite, Atlas se expande o intervalo de trabalho de cinco minutos, até um máximo de quatro horas. Se o intervalo de trabalho atinge o máximo ou se o tamanho dos documentos para archive atinge o limite, Atlas executa o trabalho novamente e Redefine o intervalo de trabalho para cinco minutos. O limite é de 1.8GiB por tarefa.
O Atlas pode iniciar o trabalho de qualquer nó no cluster. Entretanto, como o trabalho pode precisar executar operações de exclusão, ele sempre se conecta ao membro primário.
Se você especificar uma janela de tempo em que deseja executar o trabalho, o Atlas executa o trabalho continuamente durante essa janela de tempo, desde que haja pelo menos 5 MiB de dados para arquivar. Para saber mais, veja Limitações. Se um trabalho em execução não for concluído durante a janela de tempo, o Atlas continuará executando o trabalho até que seja concluído. Se todos os trabalhos de arquivamento atingirem o limite máximo para o tamanho ou o número de documentos a serem arquivados durante três janelas de arquivamento consecutivas, recomendamos que você aumente a frequência.
O Atlas executa uma query de suficiência de índice para determinar a eficiência do processo de arquivamento. Se o número de documentos digitalizados para o número de documentos devolvidos for 10 ou mais, o resultado da query acionará um
Index Sufficiency Warning
. Esse aviso indica que você tem índices insuficientes para um processo de arquivamento eficiente. Para arquivos baseados em dados, você deve indexar o campo de data. Para critérios personalizados que usam uma expressão, o Atlas pode primeiro converter um valor antes de avaliá-lo em relação à query.Para documentos que atendem aos critérios de arquivamento, o Atlas grava até 1.8GiB de dados de documentos em partições no armazenamento de objetos na nuvem, agrupados e ordenados usando o esquema de particionamento que você forneceu durante a criação do arquivo. O Atlas reequilibra periodicamente as partições e as armazena em um formato otimizado tanto para o desempenho de consultas quanto para a capacidade de expirar dados em um tempo razoável.
Para arquivos online recém-criados na coleção de séries temporais, o limite é 1.8 GiB ou 100k documentos, dependendo de qual limite é alcançado primeiro.
Observação
O tempo necessário para concluir uma tarefa de arquivamento depende de vários fatores, incluindo os recursos do cluster. A próxima tarefa de arquivo é executada somente após a conclusão da tarefa atual.
O Arquivo Online é executado em seu Atlas cluster e usa os mesmos recursos subjacentes, como IOPS. O limite padrão de 1.8GiB por tarefa impede que a operação use muitos recursos. Se o cluster estiver atualmente satisfazendo cargas de trabalho no limite de seus limites de recursos, você poderá ir além em sua capacidade ativando o Arquivo Online. Certifique-se de que seu cluster Atlas tenha recursos em excesso antes de ativar o Arquivo Online.
Se você ativar o Arquivo Online, poderá selecionar uma das seguintes regiões para armazenar seus dados arquivados.
Regiões Data Federation | Regiões da AWS |
---|---|
Virginia, USA | us-east-1 |
Oregon, EUA | us-west-2 |
São Paulo, Brasil | sa-east-1 |
Irlanda | eu-west-1 |
Londres, Inglaterra | eu-west-2 |
Frankfurt, Alemanha | eu-central-1 |
Tokyo, Japan | ap-northeast-1 |
Mumbai, Índia | ap-south-1 |
Cingapura | ap-southeast-1 |
Sydney, Austrália | ap-southeast-2 |
Montreal, Canadá | ca-central-1 |
Importante
O Atlas criptografa seus dados arquivados usando criptografia no lado do servidor da Amazon com chaves gerenciadas S3 (SSE-S3) para dados arquivados. O Atlas não pode usar nenhuma chave de criptografia em repouso que você tenha usado nos dados do seu cluster.
Regiões Data Federation | Regiões do Azure |
---|---|
Virginia, USA |
|
Países Baixos |
|
Importante
O Atlas criptografa seus dados arquivados usando a criptografia do lado do serviço do Azure Storage. O Atlas não pode usar nenhuma chave de criptografia em repouso que você tenha usado nos dados do seu cluster.
Regiões Data Federation | Regiões do Google Cloud |
---|---|
Bélgica |
|
Iowa, USA |
|
Importante
O Atlas criptografa seus dados arquivados usando a criptografia do lado do serviço do Google Cloud Storage. O Atlas não pode usar nenhuma chave de criptografia em repouso que você tenha usado nos dados do seu cluster.
Quando você arquiva dados, o Atlas primeiro copia os dados para o armazenamento de objetos em nuvem
e, em seguida, exclui os dados do Atlas cluster. Durante o arquivamento, por um breve período de tempo, você poderá ver documentos duplicados em seu cluster Atlas e no Online Archive. Mas após o arquivamento ,e quando o estado do Online Archive for idle
, os documentos já arquivados não estarão presentes em seu Atlas cluster.
Importante
O arquivo online exclui documentos do cluster usando apenas o _id
. Você deve forçar a exclusividade de _id
em todos os fragmentos do seu aplicativo. Se documentos com _id
duplicados estiverem presentes no cluster durante uma tarefa de arquivamento, o Atlas poderá excluir todos os documentos com o mesmo _id
, mesmo que apenas um deles satisfaça os critérios de arquivamento.
O WiredTiger não libera os blocos de armazenamento dos dados excluídos de volta para o sistema operacional por motivos de desempenho. No entanto, o Atlas eventualmente reutiliza automaticamente esses blocos de armazenamento para novos dados. Isso ajuda o cluster do Atlas a evitar a fragmentação. Para saber mais, consulte Como faço para recuperar espaço em disco no WiredTiger?
Seu Online Archive é somente leitura. O Atlas não atualiza dados arquivados. Você pode configurar a exclusão de dados arquivados após um determinado período. Para limpar dados arquivados, defina a configuração Deletion Age Limit para seu Online Archive ao criar ou modificar o Online Archive. O Atlas não sincroniza seu Online Archive com o Atlas cluster para manter a consistência após os dados serem arquivados.
O Atlas oferece um endpoint unificado. Você pode usá-lo para consultar todos os bancos de dados e coleções em seu cluster ativo e dados arquivados usando o mesmo nome de banco de dados e coleção que você usa em seu cluster do Atlas. Você não pode usar o endpoint unificado em uma conexão de peering de rede , mas pode configurar um endpoint privado ou usar uma conexão de internet padrão via TLS.
Observação
Configurar um Online Archive não elimina a necessidade de uma política de backup. Recomendamos que você configure uma política de backup que atenda aos seus requisitos. Para saber mais sobre como configurar uma política de backup, consulte Fazer backup do cluster.
Atlas Data Federation para Online Archive
Quando você configura seu Atlas cluster M10
ou superior para o Arquivo Online, o Atlas cria uma Instância do Banco de Dados Federado read-only, uma por cluster, para seus dados arquivados.
Limitações
O Online Archive não é compatível com o seguinte:
Escrevendo para o Online Archive.
Configurar ou administrar a instância do banco de dados federado do Online Archive por meio do console do Atlas, da CLI do Atlas Data Federation ou da API do Atlas Data Federation.
Arquivando uma capped collection.
Arquivamento de dados abaixo do tamanho de 5 MiB após 7 dias. Para saber mais, consulte Limitações.
Excluindo documentos individuais.
Visualizando o Online Archive
Para visualizar sua instância de banco de dados federado para o Online Archive:
No Atlas, acesse sua instância de banco de dados federado para seu projeto.
Se ainda não tiver sido exibido, selecione a organização que contém seu projeto no menu Organizations na barra de navegação.
Se ainda não estiver exibido, selecione seu projeto no menu Projects na barra de navegação.
Na barra lateral, clique em Data Federation sob o título Services.
A página Data Federation é exibida.
Consultando o Online Archive
Para solicitar seus dados do Online Archive, use a cadeia de conexão por meio do botão Connect do Online Archive ou da instância de banco de dados federado para se conectar à instância do banco de dados federado.
Você também pode consultar seus dados do Online Archive com SQL. Para mais informações, consulte Query com Atlas SQL.
Gerenciando Limites de Consulta para Arquivo Online
Você pode configurar limites na quantidade de dados processados para suas consultas em relação aos dados arquivados para controlar os custos de processamento de dados para o Online Archive. Quando a quantidade de dados processados atingir qualquer limite configurado aplicável, o Atlas não executará nenhuma nova consulta e retornará um erro ao aplicativo cliente informando que o limite foi atingido. Opcionalmente, você também pode configurar o encerramento da consulta para encerrar consultas que excedam o limite. Para saber mais, consulte Gerenciar limites de consulta do Atlas Data Federation.
Editando o Online Archive
Após o Atlas criar o Online Archive, você não poderá alterar os critérios de arquivamento de Date Match para Custom Filter, ou vice-versa.
Excluindo o Online Archives
Se você excluir todos os Arquivos Online, o Atlas excluirá as instâncias do banco de dados federado. Após excluir todos os Arquivos Online, se você criar um Arquivo Online com as mesmas configurações que um Arquivo Online excluído, o Atlas criará uma nova instância do banco de dados federado para o novo Arquivo Online.
Custos de arquivamento online
O Online Archive armazena dados acessados com pouca frequência para reduzir os custos de armazenamento de dados no cluster do Atlas. No entanto, você incorre em custos pela quantidade de dados transferidos e consultados. Para saber mais, consulte Custos de arquivos on-line.
Gerencie seu arquivo online
Você pode configurar um Online Archive para uma collection em seu cluster por meio do console do Atlas e da API. Depois de criar um Online Archive, você pode: