Gerenciar limites de queries do Atlas Data Federation
Nesta página
Visão geral
Você pode limitar a quantidade de dados que o Atlas Data Federation processa para suas instâncias do banco de dados de dados federado controlarem os custos. Para limitar a quantidade dedados processados , você pode configurar limites de query por instância do banco de dados federado e para todas as instâncias de banco de dados de dados federado em seu projeto. Os limites de query que você configura se aplicam apenas aos custos de processamento de dados e não se aplicam a outros custos do Atlas Data Federation , como recuperação e transferência de dados.
Você pode configurar um limite por query, por dia, por semana e por mês por projeto e por instância do banco de dados federado. O Atlas Data Federation considera cada limite de cada tipo independente de outros limites configurados. Se você configurar o mesmo tipo de limite para o projeto e para uma instância do banco de dados federado no projeto, o Atlas Data Federation imporá o limite mais restritivo dos dois. Os valores limite devem estar entre 1GiB (1024^3 bytes) e 1EiB.
Por padrão, o Atlas Data Federation define um limite de 100 TB na quantidade de dados processados por mês para todas as novas instância do banco de dados federado.
Observação
O Atlas Data Federation impõe o limite do projeto por armazenamento de objetos na nuvem. Por exemplo, suponha que você tenha 2 instância do banco de dados federado, uma no Amazon Web Services e outra no Azure. O Atlas Data Federation permite varreduras de até 100 TB por instância do banco de dados federado para um total de 200 TB para o projeto.
O que acontece quando o Atlas Data Federation atinge o limite de dados?
Quando a quantidade de dados processados atinge o valor limite configurado, o Atlas Data Federation interrompe o processamento de dados para a query que atingiu o limite se o tipo de limite for por query. Para limites de outros tipos, o Atlas Data Federation não executa novas query até que o limite seja redefinido com base no tipo de limite configurado. Ou seja, o Atlas Data Federation não executa nenhuma nova query até:
O próximo dia do calendário começa em
00:00UTC para o tipo de limite de por dia.A próxima semana do calendário começa na segunda-feira, às
00:00UTC , para o tipo de limite por semana.O próximo mês do calendário começa no primeiro dia (1º) do mês às
00:00UTC para o tipo de limite de por mês.
Se você configurar o mesmo tipo de limite para o projeto e a instância do banco de dados federado no projeto, mas com valores de limite diferentes para o projeto e a instância do banco de dados federado no projeto, o seguinte se aplicará:
Se o Atlas Data Federation atingir o valor limite do projeto antes de atingir o valor limite de qualquer instância do banco de dados federado no projeto, o Atlas Data Federation permitirá que todas as query em execução em todas as instância do banco de dados federado no projeto sejam concluídas.
Se o Atlas Data Federation não atingir o valor limite do projeto, mas atingir o valor limite definido para qualquer instância do banco de dados federado no projeto, o Atlas Data Federation permitirá que todas as query em execução nessa instância do banco de dados federado sejam concluídas, mas não será executada qualquer nova query nessa instância do banco de dados federado. O Atlas Data Federation continua executando query em outras instância do banco de dados federado no projeto até atingir o valor limite definido para o projeto. Quando o Atlas Data Federation atinge o valor limite do projeto, o Atlas Data Federation permite que todas as query em execução em todas as instância do banco de dados federado no projeto sejam concluídas, mas não executa novas query em nenhuma instância do banco de dados federado no projeto.
O Atlas Data Federation exibe um aviso na UI do Atlas quando o Atlas Data Federation atinge o limite de processamento de dados. Além disso, você pode configurar o Atlas Data Federation para encerrar as query que excedem o limite o mais rápido possível quando o Atlas Data Federation atingir o limite, em vez de permitir que as query em execução sejam concluídas.
O que acontece quando você habilita o encerramento da query?
Se você configurar o Atlas Data Federation para encerrar as query que excedem o limite, o Atlas Data Federation tentará encerrar as query quando o Atlas Data Federation atingir o limite aplicável. Enquanto o Atlas Data Federation tenta encerrar a query, o Atlas Data Federation pode exceder o limite ligeiramente. O Atlas Data Federation não retorna quaisquer resultados e retorna apenas um erro. No entanto, você verá cobranças de processamento de dados para a quantidade de dados que o Atlas Data Federation processou antes de atingir o limite.
Se você configurar o mesmo tipo de limite para o projeto e para a instância do banco de dados federado no projeto, mas com diferentes quantidades de limite e configurações de encerramento da query, o Atlas Data Federation encerrará a query somente quando a quantidade de dados que o Atlas Data Federation processa atingir o valor limite que você associou ao encerramento da query.
Exemplo
Suponha um limite de projeto de 100 GB por semana com o encerramento habilitado e um limite de instância do banco de dados federado de 60 GB por semana com o encerramento desabilitado.
Quando uma ou mais queries na instância do banco de dados federado atingem o limite de 60 GB, o Atlas Data Federation encerra todas as queries em execução na instância do banco de dados federado e não executa novas queries. O Atlas Data Federation continua a executar todas as queries novas e em execução em outras instâncias do banco de dados federado no projeto até que o Atlas Data Federation atinja o limite do projeto de 100 GB.
Quando uma ou mais queries atingem o limite de 100 GB do projeto, o Atlas Data Federation não executa novas queries e encerra todas as queries em todas as instâncias de banco de dados federado no projeto.
Acesso necessário
Para adicionar, editar ou excluir limites de query, você deve ter acesso Project Owner ao projeto. Os usuários com acesso Organization Owner devem se adicionar como Project Owner ao projeto antes de adicionar, editar ou excluir limites de query.
Para visualizar os limites de queries, você deve ter acesso Project Read Only ao projeto ou superior.
Procedimentos
Adicionar limites de query
Você pode configurar limites na quantidade de dados processados para sua query a partir do Atlas CLI, da UI do Atlas e da API.
Para criar um novo limite de query da Data Federation usando o Atlas CLI, execute o seguinte comando:
atlas dataFederation queryLimits create <name> [options]
Para saber mais sobre a sintaxe e os parâmetros do comando, consulte a documentação do Atlas CLI para Atlas dataFederation queryLimits create.
Clique Manage Query Limits em para configurar limites por instância do banco de dados federado ou para todas as instâncias do banco de dados de dados federado no projeto.
Você pode configurar limites para o projeto e por instância do banco de dados federado. Os limites de query no nível do projeto se aplicam a todas as instâncias do banco de dados de dados federado no projeto, o que impede novas queries em qualquer instância do banco de dados federado quando a quantidade de dados processados atinge o limite. Os limites de query em uma instância do banco de dados federado se aplicam somente a essa instância do banco de dados federado, e o Atlas Data Federation não executará nenhuma nova query nessa instância do banco de dados federado quando a quantidade de dados processados atingir o limite. Você também pode, opcionalmente, habilitar o encerramento de queries quando o Atlas Data Federation atingir o limite configurado.
Clique Add Query Limit em para configurar o limite.
Você pode configurar os seguintes campos na janela Add Query Limit :
Nome do campo | Descrição |
|---|---|
Limit For | Especifique se o limite é para um projeto ou instância do banco de dados federado. Clique no menu suspenso e selecione o projeto ou a instância do banco de dados federado ao qual aplicar o limite. Depois de adicionar o limite, você não poderá modificar esta configuração. |
Limit Type | Especifique a duração do limite. Clique no menu suspenso para escolher uma das seguintes opções:
Depois de adicionar o limite, você não poderá modificar esta configuração. |
Limit Amount | Especifique a quantidade de dados em MB, GB ou TB para limitar. |
Terminate Queries | Alterne para ativar o encerramento da query. Você não pode habilitar o encerramento de query para Por tipo de limite de query porque, por padrão, o Atlas Data Federation encerra a query quando atinge o limite para esse tipo de limite. |
Clique Add Query Limit em para que as alterações entrem em vigor.
Para limites do tipo Per query, as alterações entram em vigor imediatamente e o Atlas Data Federation impõe o limite somente para todas as novas queries. Para limites de outros tipos, aplica-se o seguinte:
Per day - As alterações entram em vigor no início da segunda-feira na semana atual, no horário UTC .
Per week - As alterações entram em vigor no início da segunda-feira na semana atual, no horário UTC .
Per month - As alterações entram em vigor no primeiro dia, o início do período de cobrança mensal, do projeto no horário UTC .
Para configurar limites de query a partir da API, envie uma solicitação de POST para o endpoint limits .
Para configurar um limite que se aplique a todas as instâncias do banco de dados de dados federado no projeto, você deve especificar a ID exclusiva do projeto e o nome do limite a ser definido. Para saber mais sobre a sintaxe e as opções para definir limites para todas as instâncias do banco de dados de dados federado no projeto, consulte API.
Para configurar um limite para uma instância do banco de dados federado em um projeto, especifique o ID exclusivo do projeto e o nome da instância do banco de dados federado no projeto. Para saber mais sobre a sintaxe e as opções para definir limites para uma instância do banco de dados federado em um projeto, consulte API.
Exibir limites de query
Você pode visualizar os limites de instância do projeto e do reconhecimento de data center federado em query do Atlas CLI, UI do Atlas e API. Você também pode visualizar a quantidade de dados que o Atlas Data Federation processou por instância por dia.
Para listar os limites de query do Data Federation para seu projeto utilizando o Atlas CLI, execute o seguinte comando:
atlas dataFederation queryLimits list [options]
Para retornar os detalhes do limite de query da Data Federation especificado usando o Atlas CLI, execute o seguinte comando:
atlas dataFederation queryLimits describe <name> [options]
Para saber mais sobre a sintaxe e os parâmetros dos comandos anteriores, consulte a documentação do Atlas CLI para Atlas dataFederation queryLimits list e Atlas dataFederation queryLimits describe.
Clique Manage Query Limits em para visualizar os limites por instância do banco de dados federado e para todas as instâncias do banco de dados de dados federado no projeto.
A página Data Federation Query Limits exibe o seguinte:
Nome da coluna | Descrição da coluna |
|---|---|
Limit for | Especifica o nome do projeto se o limite for para o projeto ou o nome da instância do banco de dados federado se o limite for para uma instância do banco de dados federado. |
Data Processed / Limit | Indica a quantidade total de dados processados pelas queries. Você pode passar o mouse sobre os dados processados para visualizar o seguinte:
|
Limit Type | Indica o tipo de limite. O valor pode ser:
|
Terminate Queries | Indica se o sinalizador para encerrar queries em execução quando o Atlas Data Federation atingir o limite está habilitado. |
Actions | Exibe as ações que você pode realizar no limite. Você pode fazer o seguinte: |
Para recuperar os limites de consulta da API, envie uma solicitação de GET para o endpoint limits .
Para recuperar um limite que se aplica a todas as instâncias do banco de dados de dados federado no projeto, você deve especificar o ID exclusivo do projeto e o nome do limite a ser recuperado. Para saber mais sobre a sintaxe e as opções para recuperar um limite de projeto , consulte API. Para recuperar todos os limites de um projeto, especifique o ID exclusivo do projeto. Para saber mais sobre a sintaxe e as opções para recuperar todos os limites de instância do banco de dados federado , consulte API.
Para recuperar um limite para uma instância do banco de dados federado em um projeto, especifique o ID exclusivo do projeto, o nome da instância do banco de dados federado e o nome do limite a ser recuperado. Para saber mais sobre a sintaxe e as opções para recuperar um limite para uma instância do banco de dados federado em um projeto, consulte API. Para recuperar todos os limites de uma instância do banco de dados federado em um projeto, especifique o ID exclusivo do projeto e o nome da instância do banco de dados federado. Para saber mais sobre a sintaxe e as opções para recuperar todos os limites de instância do banco de dados federado , consulte API.
Editar limites de query
Você pode editar o projeto e por limites de instância do reconhecimento de data center federado a partir da UI e API do Atlas .
Faça as alterações necessárias no seguinte.
Você pode modificar qualquer uma das seguintes configurações:
Nome do campo | Descrição |
|---|---|
Limit Amount | Especifique a quantidade de dados em
|
Terminate Queries | Alterne para ativar o encerramento da query. Você não pode habilitar o encerramento de query para Por tipo de limite de query porque, para esse tipo de limite, o Atlas Data Federation tentará encerrar cada query assim que atingir o limite por padrão. Se você habilitar o encerramento da query para qualquer outro tipo, o Atlas Data Federation encerrará as queries em execução que atingiram o limite. Se você desabilitar o encerramento, o Atlas Data Federation não reiniciará nenhuma query encerrada e não encerrará nenhuma query nova ou em execução quando o Atlas Data Federation atingir o valor limite. Em vez disso, sua query em execução poderá concluir e verificar dados adicionais. Para saber mais, consulte O que acontece quando você ativa o encerramento da query? |
Para modificar os limites de query da API, envie uma solicitação PATCH para o endpoint limits .
Para atualizar um limite que se aplica a todas as instâncias do banco de dados de dados federado no projeto, você deve especificar o ID exclusivo do projeto e o nome do limite a ser atualizado. Para saber mais sobre a sintaxe e as opções para atualizar um limite de projeto , consulte API.
Para atualizar um limite para uma instância do banco de dados federado em um projeto, especifique o ID exclusivo do projeto, o nome da instância do banco de dados federado e o nome do limite a ser atualizado. Para saber mais sobre a sintaxe e as opções para atualizar um limite para uma instância do banco de dados federado em um projeto, consulte API.
Excluir limites de query
Você pode excluir um projeto ou por limite de instância do banco de dados federado a partir do Atlas CLI, Atlas e API.
Para remover o limite de query da Data Federation especificado do seu projeto usando a Atlas CLI, execute o seguinte comando:
atlas dataFederation queryLimits delete <name> [options]
Para saber mais sobre a sintaxe e os parâmetros do comando, consulte a documentação do Atlas CLI para Atlas dataFederation queryLimits delete.
Para excluir os limites de query da API, envie uma solicitação DELETE para o endpoint limits .
Para excluir um limite que se aplica a todas as instâncias do banco de dados de dados federado no projeto, você deve especificar o ID exclusivo do projeto e o nome do limite a ser excluído. Para saber mais sobre a sintaxe e as opções para excluir um limite de projeto , consulte API.
Para excluir um limite para uma instância do banco de dados federado em um projeto, especifique o ID exclusivo do projeto e o nome do limite a ser excluído. Para saber mais sobre a sintaxe e as opções para excluir um limite para uma instância do banco de dados federado em um projeto, consulte API.