Visão geral do Atlas Data Federation

Conceitos chave

Federated Database Instance

Uma instância do banco de dados federado é um sistema do Atlas Data Federation. Cada instância de banco de dados federado contém bancos de dados virtuais e coleções que são mapeadas para dados em seus armazenamentos de dados.

Data Store

O armazenamento de dados refere-se à localização dos seus dados. O Atlas Data Federation suporta os seguintes armazenamentos de dados:

• Cluster do Atlas

• Atlas online archive

• AWS Buckets S3

• Armazenamento de blobs Azure

• Google Cloud Platform Armazenamento do Google Cloud Platform

• Endpoints HTTP e HTTPS

Storage Configuration

A configuração de armazenamento contém mapeamentos entre seus bancos de dados virtuais, coleções e fontes de dados no formato JSON. Você pode definir esses mapeamentos na configuração do armazenamento para acessar e executar queries em seus dados.

Arquitetura do Atlas Data Federation

clique para ampliar

O Plano de Dados no diagrama anterior é onde seus dados residem. Você pode configurar o Atlas Data Federation para acessar dados em uma variedade de serviços de armazenamento. Especificamente, você pode configurar o Atlas Data Federation para acessar dados em seus buckets do AWS S em3 regiões do AWS, contêineres do Azure Blob Storage, buckets do Google Cloud Storage, clusters do Atlas ,URL s HTTP e HTTPSe Atlas Online Archives. Para saber mais sobre como configurar o Atlas Data Federation para acessar seus armazenamentos de dados, consulte Definir armazenamentos de dados para uma instância de banco de dados federado.

Você pode então configurar o controle de acesso baseado em função para suas instâncias do banco de dados federado. Você pode controlar como seu cliente se conecta à instância do banco de dados federado, por meio de uma opção de conexão global ou fixando-a em uma região específica. Para saber mais, consulte Configurar conexão para sua instância do banco de dados federado.

O Atlas Data Federation preserva a localidade dos dados e maximiza a computação local, sempre que possível, para minimizar a transferência de dados e otimizar o desempenho. O Plano de Computação no diagrama anterior mostra onde o Atlas Data Federation processa todas as solicitações. O Atlas Data Federation fornece um pool elástico de agentes na região mais próxima de seus dados, onde o Atlas Data Federation pode processar os dados para suas queries. Para saber mais sobre as regiões suportadas, consulte regiõesdo Atlas Data Federation .

O Atlas Data Federation não mantém os dados dentro do sistema e, depois que sua query é processada, ele armazena apenas os metadados em sua instância do banco de dados federado. Isso permite que você cumpra as normas de soberania de dados e garante que seus dados sejam armazenados e processados em conformidade com os requisitos legais.

O Plano de Controle no diagrama anterior, que é o mesmo que o Plano de Controle Atlas, é onde o Atlas Data Federation equilibra as solicitações do usuário e agrega os resultados finais.

O Atlas Data Federation executa determinadas partes de uma query diretamente no serviço de armazenamento subjacente em vez de transferir todos os dados para os nós de computação para processamento. Além disso, quando você executa uma query, ela é processada primeiro por um componente frontend do Data Federation, que planeja a query e, em seguida, a distribui para os nós no backend. Os nós de backend então acessam seu armazenamento de dados diretamente para executar a lógica de consulta e devolver os resultados para o frontend. Esse processo reduz a quantidade de dados movidos, tornando todo o processo mais rápido e mais barato. Para saber mais, consulte a seção Consultar uma Instância do Banco de Dados Federado.

Para otimizar o desempenho das suas queries, o Atlas Data Federation faz o seguinte:

• Para o Cloud Object Storage, ele usa o particionamento de dados para selecionar os arquivos que precisam ser processados com base nos parâmetros da query. Para saber mais, consulte Definir Caminho para Dados S3 e Utilizar Tipos de Atributo de Partição. Além disso, ele usa metadados Parquet para reduzir a quantidade de dados que verifica de arquivos parquet usando seleção de grupo de linhas ou projeção de coluna. Para saber mais, consulte Formato de Dados de Parquet.

• Para clusters do Atlas , ele tenta "empurrar para baixo" o máximo possível da query para o cluster. Por exemplo, se o agregação pipeline tiver um estágio $match e puder ser processado localmente, o Atlas Data Federation tentará processar esse estágio no Atlas cluster e só retornará os documentos resultantes de volta à camada federada para o processamento dos estágios subsequentes. Para saber mais, consulte Consultando Dados em Seu Cluster Atlas .

Para saber mais, consulte Otimizar o Desempenho da Query.

Você pode se conectar ao Atlas Data Federation usando drivers específicos de linguagem do MongoDB , mongosh e Atlas SQL. Para saber mais, consulte Conectar à Instância do Banco de Dados Federado.

Amostras de usos

Você pode utilizar o Atlas Data Federation para:

• Copie os dados do cluster do Atlas para arquivos Parquet ou CSV CSV gravados em buckets do Amazon Web Amazon Web Services Services S ou do3 Azure Azure Blob Storage.

• Consulte vários clusters e arquivos on-line do Atlas para obter um visão holística dos dados do seu Atlas.

• Materialize dados de aggregations entre Atlas clusters, bucketsAmazon Web Services do Amazon3 Azure Web Services S e Azure Blob Storage.

• Leia e importe dados de seus blocos Amazon Web Services S3 do Azure Amazon Web Services ou Azure Blob Storage para um cluster Atlas .