Atlas Data Lake - Pré-visualização
Sobre o Atlas Data Lake
O MongoDB Atlas Data Lake é agora um serviço de armazenamento de objetos otimizado para análise para dados extraídos. O Atlas Data Lake oferece um serviço de armazenamento analítico otimizado para dados planos ou aninhados com desempenho de consulta de baixa latência.
O Atlas Data Lake está em pré-visualização pública.
Pré-requisitos
O Atlas Data Lake requer um cluster Atlas habilitado para backup M10 ou superior com trabalhos de backup na nuvem executados em uma cadência especificada. Para saber mais sobre backups na nuvem, consulte Fazerbackup do seu cluster.
Tipos de Fonte de Dados Suportados
O Atlas Data Lake oferece suporte a snapshots de coleta de clusters do Atlas como fonte de dados para dados extraídos. O Atlas Data Lake ingere automaticamente os dados dos snapshots, particiona e armazena os dados em um formato otimizado para análise. Ele não suporta a criação de pipelines para visualizações.
Formato de Armazenamento de Dados e Suporte a Consultas
O Atlas Data Lake armazena dados em um formato orientado a análise baseado em padrões de open source com suporte para dados polimórficos. Os dados são totalmente gerenciados, indexados em nível de partição e equilibrados à medida que os dados crescem. O Atlas Data Lake otimiza a extração de dados para queries de tipo analítico. Quando o Atlas Data Lake extrai novos dados, ele reequilibra os arquivos existentes para garantir um desempenho consistente e minimizar a verificação de dados.
O Atlas Data Lake armazena dados em um formato que melhor se adapta à sua estrutura para permitir consultas rápidas de pontos e consultas agregadas. Para consultas pontuais, o formato de armazenamento do Atlas Data Lake melhora o desempenho ao encontrar partições mais rapidamente. As consultas do tipo agregado examinam apenas a coluna necessária para fornecer resultados. Além disso, os índices de partição do Atlas Data Lake melhoram o desempenho para consultas agregadas, retornando resultados diretamente do índice de partição sem a necessidade de verificar os arquivos subjacentes.
Amostras de usos
Você pode utilizar o Atlas Data Lake para:
Isolar os volumes de trabalho analíticos do cluster operacional.
Fornecer uma visão consistente dos dados do cluster a partir de um snapshot para agregações de longa duração usando
$out.Faça queries e compare versões dos dados do seu cluster em diferentes momentos.
Regiões do Atlas Data Lake
O Atlas Data Lake fornece armazenamento otimizado nas seguintes regiões da AWS:
Regiões do Data Lake | Regiões da AWS |
|---|---|
Virginia, USA | us-east-1 |
Oregon, EUA | us-west-2 |
São Paulo, Brasil | sa-east-1 |
Irlanda | eu-west-1 |
Londres, Inglaterra | eu-west-2 |
Frankfurt, Alemanha | eu-central-1 |
Mumbai, Índia | ap-south-1 |
Cingapura | ap-southeast-1 |
Sydney, Austrália | ap-southeast-2 |
O Atlas Data Lake seleciona automaticamente a região mais próxima do seu cluster do Atlas para armazenar dados ingeridos.
Cobrança
Você incorre em cobranças do Atlas Data Lake por GB por mês com base na região do AWS onde os dados ingeridos estão armazenados. Você incorre nos custos do Atlas Data Lake para os seguintes itens:
Ingestão de dados de sua fonte de dados
Armazenar no armazenamento de objetos na nuvem
Custos de extração
O Atlas Data Lake cobra os recursos utilizados para extrair, carregar e transferir dados. As cobranças do Atlas Data Lake pelas operações de exportação de snapshot são baseadas no seguinte:
Custo por GB para extração de snapshot
Custo por hora no servidor AWS para transferência de exportação de snapshot
Custo por GB por hora para armazenamento de restauração de exportação xde snapshot
Custo por IOPS por hora para IOPS de armazenamento de exportação de snapshot
Custos de Armazenamento
As cobranças do Atlas Data Lake pelo armazenamento e acesso aos dados armazenados são baseadas no seguinte:
Cost per GB per day
Custo para cada mil solicitações de acesso de armazenamento ao consultar conjuntos de dados do Data Lake utilizando o Atlas Data Federation. Cada pedido de acesso corresponde a uma partição de dados de um conjunto de dados Data Lake que o Atlas Data Federation procura processar para uma consulta.
Observação
Agora você pode definir limites na quantidade de dados que o Atlas Data Federation processa para suas consultas controlarem os custos. Para saber mais, consulte Gerenciar Limites de Consulta do Atlas Data Federation.
Para saber mais, consulte a página de preços do Atlas.