Menu Docs
Página inicial do Docs
/
MongoDB Atlas
/ /

Armazenamento de blobs Azure

Nesta página

  • Exemplo de configuração para Azure Blob Storage Data Store
  • Formato de configuração
  • stores
  • databases

O Atlas Data Federation dá suporte a contêineres de Armazenamento de Blobsdo Azure como armazenamentos de instâncias de banco de dados federados. Você deve definir mapeamentos em sua instância de banco de dados federado para seus contêineres de Armazenamento de Blobs do Azure para executar queries em seus dados.

Observação

Enquanto nos referimos a blobs como arquivos e prefixos separados por delimitadores como diretórios nesta página, esses serviços de armazenamento blob não são realmente sistemas de arquivos e não têm os mesmos comportamentos em todos os casos como arquivos em um disco rígido.

Exemplo

Considere o container de Armazenamento de Blobs do Azure datacenter-alpha que contém dados coletados de um datacenter:

|--metrics
|--hardware

O caminho /metrics/hardware armazena arquivos JSON com métricas derivadas do hardware do centro de dados, onde cada nome de arquivo é o carimbo de data/hora UNIX em milissegundos do período de 24 horas coberto por esse arquivo:

/hardware/1564671291998.json

A configuração a seguir:

  • Define um armazenamento de instância de banco de dados federado no contêiner do datacenter-alpha Azure Blob Storage na eastus2 região Azure . O armazenamento da Federated database instance store é especificamente restrito para incluir apenas ficheiros de dados no caminho do diretório metrics.

  • Mapeia arquivos da pasta hardware para um banco de dados MongoDB datacenter-alpha-metrics e uma coleção hardware. O mapeamento de configuração inclui lógica de análise para capturar o carimbo de data/hora implícito no nome do arquivo.

{
"stores" : [
{
"name" : "datacenter",
"provider" : "azure",
"region" : "eastus2",
"containerName" : "datacenter-alpha",
"serviceURL" : "https://mystorageaccount.blob.core.windows.net/"
}
],
"databases" : [
{
"name" : "datacenter-alpha-metrics",
"collections" : [
{
"name" : "hardware",
"dataSources" : [
{
"storeName" : "datacenter",
"path" : "/hardware/{date date}"
}
]
}
]
}
]
}

A Atlas Data Federation analisa o contêiner datacenter-alpha do Azure Blob Storage e processa todos os arquivos abaixo /metrics/hardware/. O collections usa asintaxe de análise de caminho para mapear o nome do arquivo para o campo date , que é uma data ISO-8601 , em cada documento. Se um campo date correspondente não existir em um documento, o Atlas Data Federation adicionará.

Os usuários conectados à instância do banco de dados federado podem usar a Linguagem de Query MongoDB e as aggregations compatíveis para analisar dados no bucket S3 por meio da datacenter-alpha-metrics.hardware coleção .

A configuração da instância do banco de dados federado tem o seguinte formato:

1{
2 "stores" : [
3 {
4 "name" : "<string>",
5 "provider": "<string>",
6 "region" : "<string>",
7 "serviceURL" : "<string>",
8 "containerName" : "<string>",
9 "delimiter" : "<string>",
10 "prefix": "<string>",
11 "public": <boolean>
12 }
13 ],
14 "databases" : [
15 {
16 "name" : "<string>",
17 "collections" : [
18 {
19 "name" : "<string>",
20 "dataSources" : [
21 {
22 "storeName" : "<string>",
23 "path" : "<string>",
24 "defaultFormat" : "<string>",
25 "provenanceFieldName": "<string>",
26 "omitAttributes": <boolean>
27 }
28 ]
29 }
30 ],
31 "maxWildcardCollections" : <integer>,
32 "views" : [
33 {
34 "name" : "<string>",
35 "source" : "<string>",
36 "pipeline" : "<string>"
37 }
38 ]
39 }
40 ]
41 }
42
stores
O objeto stores define cada armazenamento de dados associado com a instância do banco de dados federado. O armazenamento da instância do banco de dados federado captura arquivos em um bucket do Amazon Web Services S3 ou em um container Azure Blob Storage, documentos em um Atlas cluster ou arquivos armazenados em URLs acessíveis publicamente. O Data Federation só pode acessar armazenamentos de dados definidos no objeto stores .
databases
O objeto databases define o mapeamento entre cada instância do banco de dados federado definido em stores e nas collections MongoDB nos bancos de dados.
1"stores" : [
2 {
3 "name" : "<string>",
4 "provider" : "<string>",
5 "region" : "<string>",
6 "serviceURL" : "<string>",
7 "containerName" : "<string>",
8 "delimiter": "<string",
9 "prefix" : "<string>",
10 "public": <boolean>
11 }
12 ]
stores

Array de objetos em que cada objeto representa um armazenamento de dados a ser associado à instância do banco de dados federado. O armazenamento de instância do banco de dados federado captura:

  • Arquivos em um contêiner do Azure Blob Storage

  • Documentos em um Atlas cluster

  • Arquivos armazenados em URLpublicamente acessíveis.

O Atlas Data Federation só pode acessar armazenamentos de dados definidos no objeto stores.

stores.[n].name

Nome de armazenamento da instância do banco de dados federado. O campo databases.[n].collections.[n].dataSources.[n].storeName referencia este valor como parte da configuração de mapeamento.

stores.[n].provider

Define onde os dados são armazenados. O valor deve ser azure para um contêiner do Azure Blob Storage.

stores.[n].region

Nome da região do Azure na qual os dados são armazenados.

stores.[n].serviceURL

URL da conta do Armazenamento de Blobs do Azure que contém seus contêineres de blobs. O serviceURL deve estar no seguinte formato:

https://<storage-account-name>.blob.core.windows.net/

onde storage-account-name é o nome da sua conta do Armazenamento de Blobs do Azure.

stores.[n].containerName

Nome do Azure Blob Storage container que contém os arquivos.

stores.[n].prefix

Opcional. O prefixo Atlas Data Federation se aplica ao procurar arquivos no Azure Blob Storage.

Por exemplo, considere um contêiner do Azure Blob Storage metrics com a seguinte estrutura:

metrics
|--hardware
|--software
|--computed

O armazenamento da instância do banco de dados federado acrescenta o valor de prefix ao databases.[n].collections.[n].dataSources.[n].path para criar o caminho completo para a ingestão dos arquivos. Definir prefix como /software restringe qualquer objeto databases que esteja usando o armazenamento de instância do banco de dados federado apenas aos subcaminhos /software.

Se omitido, o Atlas Data Federation pesquisa todos os arquivos a partir da raiz do contêiner Armazenamento de Blob do Azure.

stores.[n].delimiter

Opcional. O delimitador que separa os segmentos do databases.[n].collections.[n].dataSources.[n].path no armazenamento de instância do banco de dados federado. O Data Federation usa o delimitador para atravessar eficientemente os contêineres do Azure Blob Storage com uma estrutura de diretório hierárquica.

Se omitido, o padrão é "/".

stores.[n].public

Opcional. Especifica se o contêiner do Armazenamento de Blobs do Azure é público.

Se configurado para true, o Atlas Data Federation não utiliza o Azure Service Principal configurado para acessar seu Azure Blob Storage. Se configurado para false, o Service Principal configurado deve incluir permissões para acessar o contêiner de blob, mesmo que este contêiner de blob seja público.

Se omitido, o padrão é false.

1"databases" : [
2 {
3 "name" : "<string>",
4 "collections" : [
5 {
6 "name" : "<string>",
7 "dataSources" : [
8 {
9 "storeName" : "<string>",
10 "defaultFormat" : "<string>",
11 "path" : "<string>",
12 "provenanceFieldName": "<string>",
13 "omitAttributes": <boolean>
14 }
15 ]
16 }
17 ],
18 "maxWildcardCollections" : <integer>,
19 "views" : [
20 {
21 "name" : "<string>",
22 "source" : "<string>",
23 "pipeline" : "<string>"
24 }
25 ]
26 }
27]
databases

Array de objetos onde cada objeto representa um banco de dados, suas coleções e, opcionalmente, quaisquer visualizações nas coleções. Cada banco de dados pode ter vários objetos collections e views.

databases.[n].name

Nome do banco de dados para o qual o Atlas Data Federation mapeia os dados contidos no armazém de dados.

databases.[n].collections

Array de objetos em que cada objeto representa uma coleção e fontes de dados que mapeiam para um armazenamento de instância de banco de dados federado stores.

databases.[n].collections.[n].name

Nome da coleção para a qual o Atlas Data Federation mapeia os dados contidos em cada databases.[n].collections.[n].dataSources.[n].storeName. Cada objeto na array representa o mapeamento entre a coleção e um objeto na array stores.

Você pode gerar nomes de coleção dinamicamente a partir de caminhos de arquivo especificando * para o nome da coleção e a função collectionName() no campo path.

databases.[n].collections.[n].dataSources

Array de objetos em que cada objeto representa um armazenamento de instância do banco de dados federado stores para mapear com a coleção.

databases.[n].collections.[n].dataSources.[n].storeName

Nome de um armazém de instância do banco de dados federado para mapear para o <collection>. Deve corresponder ao name de um objeto na array stores.

databases.[n].collections.[n].dataSources.[n].path

Controla como o Atlas Data Federation procura e analisa arquivos no storeName antes de mapeá-los para o <collection>. O Atlas Data Federation acrescenta o stores.[n].prefix ao path para criar o caminho completo para a pesquisa. Especifica / para capturar todos os arquivos e diretórios do caminho prefix .

Por exemplo, considere um contêiner do Azure Blob Storage metrics com a seguinte estrutura:

metrics
|--hardware
|--software
|--computed

Um path de / direciona o Atlas Data Federation para procurar todos os arquivos e diretórios no bucket metrics.

Um path de /hardware orienta o Atlas Data Federation a procurar somente nesse caminho os arquivos que serão processados.

Se o prefix for software, o Atlas Data Federation pesquisará arquivos somente no caminho /software/computed.

Anexar o caractere curinga * ao caminho direciona o Atlas Data Federation a incluir todos os arquivos e diretórios a partir desse ponto no caminho. Por exemplo, /software/computed* corresponderia a arquivos como /software/computed-detailed, /software/computedArchive e /software/computed/errors.

path oferece suporte à sintaxe adicional para análise de nomes de arquivos, incluindo:

  • Geração de campos de documento a partir de nomes de arquivo.

  • Utilização de expressões regulares para controlar a geração de campo.

  • Definição de limites para agrupar nomes de arquivos por registro de data/hora.

Consulte Definir Caminho para Dados do S3 para obter mais informações.

Ao especificar o path:

  • Especifique o tipo de dados para o atributo de partição.

  • Certifique-se de que o tipo de atributo de partição corresponda ao tipo de dados para analisar.

  • Utilize o delimitador especificado em delimiter.

Ao especificar atributos do mesmo tipo, faça qualquer um dos seguintes:

databases.[n].collections.[n].dataSources.[n].defaultFormat

Opcional. Formato padrão que o Data Federation assume se encontrar um arquivo sem extensão ao pesquisar o databases.[n].collections.[n].dataSources.[n].storeName.

Os seguintes valores são válidos para o campo defaultFormat:

.json, .json.gz, .bson, .bson.gz, .avro, .avro.gz, .orc, .tsv, .tsv.gz, .csv, .csv.gz, .parquet

Observação

Se o formato do arquivo for CSV ou TSV, você deverá incluir uma linha de cabeçalho nos dados. Consulte CSV e TSV para obter mais informações.

Se omitido, o Data Federation processa alguns bytes do arquivo para tentar detectar o tipo.

Dica

Veja também:

databases.[n].collections.[n].dataSources.[n].provenanceFieldName

Nome do campo que inclui a procedência dos documentos nos resultados. Se você especificar esta configuração na configuração de armazenamento, o Atlas Data Federation retornará os seguintes campos para cada documento no resultado:

Nome do campo
Descrição

provider

Provedor (stores.[n].provider) na configuração de armazenamento da instância do banco de dados federado .

region

Regiãodo stores.[n].region Azure ( ).

serviceURL

URL da conta do Azure Blob Storage que contém seus contêineres blob (stores.[n].serviceURL).

containerName

Nome do contêiner do Azure Blob Storagestores.[n].containerName()

key

Você não pode definir esta configuração utilizando o Editor Visual na UI do Atlas.

databases.[n].collections.[n].dataSources.[n].omitAttributes

Opcional. Sinalizador que especifica se os atributos (pares de chave e valor) devem ser omitidos que o Atlas Data Federation adiciona à coleção. Você pode especificar um dos seguintes valores:

  • false - para adicionar os atributos

  • true - omitir os atributos

Se omitido, o padrão é false e o Atlas Data Federation adiciona os atributos.

Exemplo

Considere um arquivo denominado /employees/949-555-0195.json para o qual você configura o path /employees/{phone string}. O Atlas Data Federation adiciona o atributo phone: 949-555-0195 ao documento se você definir omitAttributes como false. Se você definir omitAttributes como true, o Atlas Data Federation não adicionará o atributo ao documento na coleção virtual.

databases.[n].maxWildcardCollections

Opcional. Número máximo de coleções de curingas * no banco de dados. Cada coleção de curinga pode ter apenas uma fonte de dados. O valor pode ser entre 1 e 1000, inclusive. Se omitido, o padrão é 100.

databases.[n].views

Array de objetos onde cada objeto representa um pipeline de agregação em uma coleção. Para saber mais sobre visualizações, consulte Visualizações.

databases.[n].views.[n].name

Etiqueta que identifica a vista.

databases.[n].views.[n].source

Nome da coleção de origem da visualização. Se quiser criar uma visualização com um estágio $sql , você deverá omitir este campo , pois a instrução SQL especificará a collection de origem.

databases.[n].views.[n].pipeline

Estágio(s) de pipeline de agregação a serem aplicados à coleção source . Você também pode criar visualizações usando o estágio $sql .

Voltar

Limitações