Archive Data

Requisitos de cluster

O Arquivo Online no Atlas está disponível somente em M10 e clusters maiores.

Permissões necessárias

Para criar ou excluir um Arquivo Online, você deve ter uma destas funções:

• Project Data Access Admin papel

• Project Cluster Manager papel

• Project Owner papel

Como o Atlas arquiva dados

Para arquivar dados:

1. Para cada arquivo, o Atlas executa uma consulta no namespace do arquivo para identificar os documentos que correspondem aos critérios de arquivamento. Atlas refere-se a esta consulta no namespace de um arquivo específico como uma tarefa.

   Por padrão, o Atlas executa o trabalho a cada cinco minutos. Se o tamanho de documentos para arquivar não atendem ao limite, Atlas se expande o intervalo de trabalho de cinco minutos, até um máximo de quatro horas. Se o intervalo de trabalho atinge o máximo ou se o tamanho dos documentos para archive atinge o limite, Atlas executa o trabalho novamente e Redefine o intervalo de trabalho para cinco minutos. O limite é de 1.8GiB por tarefa.

   O Atlas pode iniciar o trabalho de qualquer nó no cluster. Entretanto, como o trabalho pode precisar executar operações de exclusão, ele sempre se conecta ao membro primário.

   Se você especificar uma janela de tempo em que deseja executar o trabalho, o Atlas executa o trabalho continuamente durante essa janela de tempo, desde que haja pelo menos 5 MiB de dados para arquivar. Para saber mais, veja Limitações. Se um trabalho em execução não for concluído durante a janela de tempo, o Atlas continuará executando o trabalho até que seja concluído. Se todos os trabalhos de arquivamento atingirem o limite máximo para o tamanho ou o número de documentos a serem arquivados durante três janelas de arquivamento consecutivas, recomendamos que você aumente a frequência.

   O Atlas executa uma query de suficiência de índice para determinar a eficiência do processo de arquivamento. Se o número de documentos digitalizados para o número de documentos devolvidos for 10 ou mais, o resultado da query acionará um Index Sufficiency Warning. Esse aviso indica que você tem índices insuficientes para um processo de arquivamento eficiente. Para arquivos baseados em dados, você deve indexar o campo de data. Para critérios personalizados que usam uma expressão, o Atlas pode primeiro converter um valor antes de avaliá-lo em relação à query.

2. Para documentos que atendem aos critérios de arquivamento, o Atlas grava até 1.8GiB de dados de documentos em partições no armazenamento de objetos na nuvem, agrupados e ordenados usando o esquema de particionamento que você forneceu durante a criação do arquivo. O Atlas reequilibra periodicamente as partições e as armazena em um formato otimizado tanto para o desempenho de consultas quanto para a capacidade de expirar dados em um tempo razoável.

   Para arquivos online recém-criados na coleção de séries temporais, o limite é 1.8 GiB ou 100k documentos, dependendo de qual limite é alcançado primeiro.

O Online Archive é executado em seu cluster do Atlas e usa os mesmos recursos subjacentes, como IOPS. O limite padrão de 1.8GiB por tarefa impede que a operação use muitos recursos. Se o cluster estiver atualmente satisfazendo cargas de trabalho no limite de seus limites de recursos, você poderá ir além em sua capacidade ativando o Arquivo Online. Certifique-se de que seu cluster Atlas tenha recursos em excesso antes de ativar o Arquivo Online.

Se você ativar o Arquivo Online, poderá selecionar uma das seguintes regiões para armazenar seus dados arquivados.

Quando você arquiva dados, o Atlas primeiro copia os dados para o armazenamento de objetos em nuvem e, em seguida, exclui os dados do Atlas cluster. Durante o arquivamento, por um breve período de tempo, você poderá ver documentos duplicados em seu cluster Atlas e no Online Archive. Mas após o arquivamento ,e quando o estado do Online Archive for idle, os documentos já arquivados não estarão presentes em seu Atlas cluster.

O WiredTiger não libera os blocos de armazenamento dos dados excluídos de volta para o sistema operacional por motivos de desempenho. No entanto, o Atlas eventualmente reutiliza automaticamente esses blocos de armazenamento para novos dados. Isso ajuda o cluster do Atlas a evitar a fragmentação. Para saber mais, consulte Como faço para recuperar espaço em disco no WiredTiger?

Seu Online Archive é somente leitura. Atlas não atualiza dados arquivados. Você pode configurar a exclusão de dados arquivados depois de um determinado período. Para limpar os dados arquivados, defina a configuração Deletion Age Limit para o seu Online Archive ao criar ou modificar o Online Archive. O Atlas não sincroniza seu Online Archive com o Atlas cluster para manter a consistência depois que os dados são arquivados.

O Atlas oferece um endpoint unificado. Você pode usá-lo para consultar todos os bancos de dados e coleções em seu cluster ativo e dados arquivados usando o mesmo nome de banco de dados e coleção que você usa em seu cluster do Atlas. Não é possível usar o endpoint unificado em uma conexão de peering de rede, mas você pode configurar um endpoint privado (somente na AWS e no Azure) ou usar uma conexão de internet padrão por TLS.

Limitações

O Online Archive não é compatível com o seguinte:

• Escrevendo para o Online Archive.

• Configurar ou administrar a instância do banco de dados federado do Online Archive por meio do console do Atlas, da CLI do Atlas Data Federation ou da API do Atlas Data Federation.

• Arquivando uma capped collection.

• Arquivamento de dados abaixo do tamanho de 5 MiB após 7 dias. Para saber mais, consulte Limitações.

• GridFS.

• Excluindo documentos individuais.

Visualizando o Online Archive

Para visualizar sua instância de banco de dados federado para o Online Archive:

Consultando o Online Archive

Para solicitar seus dados do Online Archive, use a cadeia de conexão por meio do botão Connect do Online Archive ou da instância de banco de dados federado para se conectar à instância do banco de dados federado.

Você também pode realizar queries seus dados de Arquivo Online com SQL. Para mais informações, consulte Queries com Atlas SQL.

Gerenciando Limites de Consulta para Arquivo Online

Você pode configurar limites na quantidade de dados processados para suas consultas em relação aos dados arquivados para controlar os custos de processamento de dados para o Online Archive. Quando a quantidade de dados processados atingir qualquer limite configurado aplicável, o Atlas não executará nenhuma nova consulta e retornará um erro ao aplicativo cliente informando que o limite foi atingido. Opcionalmente, você também pode configurar o encerramento da consulta para encerrar consultas que excedam o limite. Para saber mais, consulte Gerenciar limites de consulta do Atlas Data Federation.

Editando o Online Archive

Após o Atlas criar o Online Archive, você não poderá alterar os critérios de arquivamento de Date Match para Custom Filter, ou vice-versa.

Excluindo o Online Archives

Se você excluir todos os Arquivos Online, o Atlas excluirá as instâncias do banco de dados federado. Após excluir todos os Arquivos Online, se você criar um Arquivo Online com as mesmas configurações que um Arquivo Online excluído, o Atlas criará uma nova instância do banco de dados federado para o novo Arquivo Online.