Arquive dados

Requisitos de cluster

O Arquivo Online no Atlas está disponível somente em M10 e clusters maiores.

Permissões necessárias

Para criar ou excluir um Arquivo Online, você deve ter uma destas funções:

• Project Data Access Admin papel

• Project Cluster Manager papel

• Project Owner papel

Como o Atlas arquiva dados

Para arquivar dados:

1. Para cada arquivo, o Atlas executa uma consulta no namespace do arquivo para identificar os documentos que correspondem aos critérios de arquivamento. Atlas refere-se a esta consulta no namespace de um arquivo específico como uma tarefa.

   Por padrão, o Atlas executa o trabalho a cada cinco minutos. Se o tamanho de documentos para arquivar não atendem ao limite, Atlas se expande o intervalo de trabalho de cinco minutos, até um máximo de quatro horas. Se o intervalo de trabalho atinge o máximo ou se o tamanho dos documentos para archive atinge o limite, Atlas executa o trabalho novamente e Redefine o intervalo de trabalho para cinco minutos. O limite é de GB por vaga.

   O Atlas pode iniciar a tarefa a partir de qualquer nó no cluster. No entanto, como a tarefa pode precisar executar operações de exclusão, ele sempre se conecta ao membro primário .

   Se você especificar uma janela de tempo quando desejar executar o trabalho, o Atlas executará o trabalho continuamente durante esta janela de tempo desde que haja pelo menos 5 MiB de dados para arquivar. Para saber mais, consulte Limitações. Se um trabalho em execução não é concluído durante a janela de tempo, o Atlas continua executando o trabalho até que ele seja concluído. Se todas as tarefas de arquivamento atingirem o limite máximo do tamanho ou do número de documentos a serem arquivados durante três janelas de arquivamento consecutivas, recomendamos que você aumente a frequência.

   O Atlas executa uma query de suficiência de índice para determinar a eficiência do processo de arquivamento. Se o número de documentos digitalizados para o número de documentos devolvidos for 10 ou mais, o resultado da query acionará um Index Sufficiency Warning. Esse aviso indica que você tem índices insuficientes para um processo de arquivamento eficiente. Para arquivos baseados em dados, você deve indexar o campo de data. Para critérios personalizados que usam uma expressão, o Atlas pode primeiro converter um valor antes de avaliá-lo em relação à query.

2. Para documentos que correspondem aos critérios de arquivamento, Atlas:

   1. Escreve até um máximo de 10.000 partições por trabalho de arquivamento de dados.

   2. Grava até 2 GB de dados de documentos em partições na nuvem Armazenamento de objetos para cada combinação exclusiva de valores de campo de consulta exceto datas, que são agrupadas durante cada execução para reduzir o número de partições.

   3. Escreve cada quantidade subsequente de dados do documento (até 2 GB) com cada execução de consulta.

O Online Archive é executado em seu cluster do Atlas e usa os mesmos recursos subjacentes, como IOPS. O limite padrão de 2GB por trabalho impede que a operação use muitos recursos. Se o cluster estiver atualmente satisfazendo cargas de trabalho no limite de seus limites de recursos, você poderá ir além em sua capacidade ativando o Arquivo Online. Certifique-se de que seu cluster Atlas tenha recursos em excesso antes de ativar o Arquivo Online.

Se você ativar o Arquivo Online, poderá selecionar uma das seguintes regiões para armazenar seus dados arquivados.

Quando você arquiva dados, o Atlas primeiro copia os dados para o armazenamento de objetos em nuvem e, em seguida, exclui os dados do Atlas cluster. Durante o arquivamento, por um breve período de tempo, você poderá ver documentos duplicados em seu cluster Atlas e no Online Archive. Mas após o arquivamento ,e quando o estado do Online Archive for idle, os documentos já arquivados não estarão presentes em seu Atlas cluster.

O WiredTiger não libera os blocos de armazenamento dos dados excluídos de volta para o sistema operacional por motivos de desempenho. No entanto, o Atlas eventualmente reutiliza automaticamente esses blocos de armazenamento para novos dados. Isso ajuda o cluster do Atlas a evitar a fragmentação. Para saber mais, consulte Como faço para recuperar espaço em disco no WiredTiger?

Seu Online Archive é somente leitura. Atlas não atualiza dados arquivados. Você pode configurar a exclusão de dados arquivados depois de um determinado período. Para limpar os dados arquivados, defina a configuração Deletion Age Limit para o seu Online Archive ao criar ou modificar o Online Archive. O Atlas não sincroniza seu Online Archive com o Atlas cluster para manter a consistência depois que os dados são arquivados.

O Atlas oferece um endpoint unificado. Você pode usá-lo para consultar todos os bancos de dados e coleções em seu cluster ativo e dados arquivados usando o mesmo nome de banco de dados e coleção que você usa em seu cluster do Atlas. Não é possível usar o ponto de extremidade unificado em uma conexão de peering de rede, mas você pode configurar um ponto de extremidade privado ou usar uma conexão de Internet padrão por TLS.

Limitações

O Online Archive não é compatível com o seguinte:

• Escrevendo para o Online Archive.

• Configurar ou administrar a instância do banco de dados federado do Online Archive por meio do console do Atlas, da CLI do Atlas Data Federation ou da API do Atlas Data Federation.

• Arquivando uma capped collection.

• Arquivamento de dados abaixo do tamanho de 5 MiB após 7 dias. Para saber mais, consulte Limitações.

• GridFS.

Visualizando o Online Archive

Para visualizar sua instância de banco de dados federado para o Online Archive:

1. Inicie sessão na console Atlas.

2. Clique em Data Federation na navegação à esquerda em sua página Project.

Consultando o Online Archive

Para solicitar seus dados do Online Archive, use a cadeia de conexão por meio do botão Connect do Online Archive ou da instância de banco de dados federado para se conectar à instância do banco de dados federado.

Você também pode realizar queries seus dados de Arquivo Online com SQL. Para mais informações, consulte Queries com Atlas SQL.

Gerenciando Limites de Consulta para Arquivo Online

Você pode configurar limites na quantidade de dados processados para suas consultas em relação aos dados arquivados para controlar os custos de processamento de dados para o Online Archive. Quando a quantidade de dados processados atingir qualquer limite configurado aplicável, o Atlas não executará nenhuma nova consulta e retornará um erro ao aplicativo cliente informando que o limite foi atingido. Opcionalmente, você também pode configurar o encerramento da consulta para encerrar consultas que excedam o limite. Para saber mais, consulte Gerenciar limites de consulta do Atlas Data Federation.

Editando o Online Archive

Após o Atlas criar o Online Archive, você não poderá alterar os critérios de arquivamento de Date Match para Custom Filter, ou vice-versa.

Excluindo o Online Archives

Se você excluir todos os Arquivos Online, o Atlas excluirá as instâncias do banco de dados federado. Após excluir todos os Arquivos Online, se você criar um Arquivo Online com as mesmas configurações que um Arquivo Online excluído, o Atlas criará uma nova instância do banco de dados federado para o novo Arquivo Online.