Armazenamento de blobs Azure

stores

1
"stores" : [
2
    {
3
      "name" : "<string>",
4
      "provider" : "<string>",
5
      "region" : "<string>",
6
      "serviceURL" : "<string>",
7
      "containerName" : "<string>",
8
      "delimiter": "<string",
9
      "prefix" : "<string>",
10
      "public": <boolean>
11
    }
12
  ]

stores

Array de objetos em que cada objeto representa um armazenamento de dados a ser associado à instância do banco de dados federado. O armazenamento de instância do banco de dados federado captura:

• Arquivos em um contêiner do Azure Blob Storage

• Documentos em um Atlas cluster

• Arquivos armazenados em URLpublicamente acessíveis.

O Atlas Data Federation só pode acessar armazenamentos de dados definidos no objeto stores.

stores.[n].name

Nome de armazenamento da instância do banco de dados federado. O campo databases.[n].collections.[n].dataSources.[n].storeName referencia este valor como parte da configuração de mapeamento.

stores.[n].provider

Define onde os dados são armazenados. O valor deve ser azure para um contêiner do Azure Blob Storage.

stores.[n].region

Nome da região do Azure na qual os dados são armazenados.

stores.[n].serviceURL

URL da conta do Armazenamento de Blobs do Azure que contém seus contêineres de blobs. O serviceURL deve estar no seguinte formato:

https://<storage-account-name>.blob.core.windows.net/

onde storage-account-name é o nome da sua conta do Armazenamento de Blobs do Azure.

stores.[n].containerName

Nome do Azure Blob Storage container que contém os arquivos.

stores.[n].prefix

Opcional. O prefixo Atlas Data Federation se aplica ao procurar arquivos no Azure Blob Storage.

Por exemplo, considere um contêiner do Azure Blob Storage metrics com a seguinte estrutura:

metrics
  |--hardware
  |--software
    |--computed

O armazenamento da instância do banco de dados federado acrescenta o valor de prefix ao databases.[n].collections.[n].dataSources.[n].path para criar o caminho completo para a ingestão dos arquivos. Definir prefix como /software restringe qualquer objeto databases que esteja usando o armazenamento de instância do banco de dados federado apenas aos subcaminhos /software.

Se omitido, o Atlas Data Federation pesquisa todos os arquivos a partir da raiz do contêiner Armazenamento de Blob do Azure.

stores.[n].delimiter

Opcional. O delimitador que separa os segmentos do databases.[n].collections.[n].dataSources.[n].path no armazenamento de instância do banco de dados federado. O Data Federation usa o delimitador para atravessar eficientemente os contêineres do Azure Blob Storage com uma estrutura de diretório hierárquica.

Se omitido, o padrão é "/".

stores.[n].public

Opcional. Especifica se o contêiner do Armazenamento de Blobs do Azure é público.

Se configurado para true, o Atlas Data Federation não utiliza o Azure Service Principal configurado para acessar seu Azure Blob Storage. Se configurado para false, o Service Principal configurado deve incluir permissões para acessar o contêiner de blob, mesmo que este contêiner de blob seja público.

Se omitido, o padrão é false.

databases

1
"databases" : [
2
  {
3
    "name" : "<string>",
4
    "collections" : [
5
      {
6
        "name" : "<string>",
7
        "dataSources" : [
8
          {
9
            "storeName" : "<string>",
10
            "defaultFormat" : "<string>",
11
            "path" : "<string>",
12
            "provenanceFieldName": "<string>",
13
            "omitAttributes": <boolean>
14
          }
15
        ]
16
      }
17
    ], 
18
    "maxWildcardCollections" : <integer>,
19
    "views" : [
20
      {
21
        "name" : "<string>",
22
        "source" : "<string>",
23
        "pipeline" : "<string>"
24
      }
25
    ]
26
  }
27
]

databases

Array de objetos onde cada objeto representa um banco de dados, suas coleções e, opcionalmente, quaisquer visualizações nas coleções. Cada banco de dados pode ter vários objetos collections e views.

databases.[n].name

Nome do banco de dados para o qual o Atlas Data Federation mapeia os dados contidos no armazém de dados.

databases.[n].collections

Array de objetos em que cada objeto representa uma coleção e fontes de dados que mapeiam para um armazenamento de instância de banco de dados federado stores.

databases.[n].collections.[n].name

Nome da coleção para a qual o Atlas Data Federation mapeia os dados contidos em cada databases.[n].collections.[n].dataSources.[n].storeName. Cada objeto na array representa o mapeamento entre a coleção e um objeto na array stores.

Você pode gerar nomes de coleção dinamicamente a partir de caminhos de arquivo especificando * para o nome da coleção e a função collectionName() no campo path.

databases.[n].collections.[n].dataSources

Array de objetos em que cada objeto representa um armazenamento de instância do banco de dados federado stores para mapear com a coleção.

databases.[n].collections.[n].dataSources.[n].storeName

Nome de um armazém de instância do banco de dados federado para mapear para o <collection>. Deve corresponder ao name de um objeto na array stores.

databases.[n].collections.[n].dataSources.[n].path

Controla como o Atlas Data Federation procura e analisa arquivos no storeName antes de mapeá-los para o <collection>. O Atlas Data Federation acrescenta o stores.[n].prefix ao path para criar o caminho completo para a pesquisa. Especifica / para capturar todos os arquivos e diretórios do caminho prefix .

Por exemplo, considere um contêiner do Azure Blob Storage metrics com a seguinte estrutura:

metrics
|--hardware
|--software
  |--computed

Um path de / direciona o Atlas Data Federation para procurar todos os arquivos e diretórios no bucket metrics.

Um path de /hardware orienta o Atlas Data Federation a procurar somente nesse caminho os arquivos que serão processados.

Se o prefix for software, o Atlas Data Federation pesquisará arquivos somente no caminho /software/computed.

Anexar o caractere curinga * ao caminho direciona o Atlas Data Federation a incluir todos os arquivos e diretórios a partir desse ponto no caminho. Por exemplo, /software/computed* corresponderia a arquivos como /software/computed-detailed, /software/computedArchive e /software/computed/errors.

path oferece suporte à sintaxe adicional para análise de nomes de arquivos, incluindo:

• Geração de campos de documento a partir de nomes de arquivo.

• Utilização de expressões regulares para controlar a geração de campo.

• Definição de limites para agrupar nomes de arquivos por registro de data/hora.

Consulte Definir Caminho para Dados do S3 para obter mais informações.

Ao especificar o path:

• Especifique o tipo de dados para o atributo de partição.

• Certifique-se de que o tipo de atributo de partição corresponda ao tipo de dados para analisar.

• Utilize o delimitador especificado em delimiter.

Ao especificar atributos do mesmo tipo, faça qualquer um dos seguintes:

• Adicione um separador constante entre os atributos.

• Use expressões regulares para descrever o padrão de pesquisa. Para saber mais, consulte Funções de análise não permitidas.

databases.[n].collections.[n].dataSources.[n].defaultFormat

Opcional. Formato padrão que o Data Federation assume se encontrar um arquivo sem extensão ao pesquisar o databases.[n].collections.[n].dataSources.[n].storeName.

Os seguintes valores são válidos para o campo defaultFormat:

.json, .json.gz, .bson, .bson.gz, .avro, .avro.gz, .orc, .tsv, .tsv.gz, .csv, .csv.gz, .parquet

Observação

Se o formato do arquivo for CSV ou TSV, você deverá incluir uma linha de cabeçalho nos dados. Consulte CSV e TSV para obter mais informações.

Se omitido, o Data Federation processa alguns bytes do arquivo para tentar detectar o tipo.

Dica

Veja também:

Formatos de dados suportados

databases.[n].collections.[n].dataSources.[n].provenanceFieldName

Nome do campo que inclui a procedência dos documentos nos resultados. Se você especificar esta configuração na configuração de armazenamento, o Atlas Data Federation retornará os seguintes campos para cada documento no resultado:

Nome do campo	Descrição
provider	Provider (stores.[n].provider) na configuração de armazenamento da instância do banco de dados federado.
region	Região do Azure (stores.[n].region).
serviceURL	URL da conta do Azure Blob Storage que contém seus contêineres blob (stores.[n].serviceURL).
containerName	Nome do contêiner do Azure Blob Storage (stores.[n].containerName)
key	Caminho (databases.[n].collections.[n].dataSources.[n].path) para o arquivo.

Você não pode definir esta configuração utilizando o Editor Visual na UI do Atlas.

databases.[n].collections.[n].dataSources.[n].omitAttributes

Opcional. Sinalizador que especifica se os atributos (pares de chave e valor) devem ser omitidos que o Atlas Data Federation adiciona à coleção. Você pode especificar um dos seguintes valores:

• false - para adicionar os atributos

• true - omitir os atributos

Se omitido, o padrão é false e o Atlas Data Federation adiciona os atributos.

Exemplo

Considere um arquivo denominado /employees/949-555-0195.json para o qual você configura o path /employees/{phone string}. O Atlas Data Federation adiciona o atributo phone: 949-555-0195 ao documento se você definir omitAttributes como false. Se você definir omitAttributes como true, o Atlas Data Federation não adicionará o atributo ao documento na coleção virtual.

databases.[n].maxWildcardCollections

Opcional. Número máximo de coleções de curingas * no banco de dados. Cada coleção de curinga pode ter apenas uma fonte de dados. O valor pode ser entre 1 e 1000, inclusive. Se omitido, o padrão é 100.

databases.[n].views

Array de objetos onde cada objeto representa um pipeline de agregação em uma coleção. Para saber mais sobre visualizações, consulte Visualizações.

databases.[n].views.[n].name

Etiqueta que identifica a vista.

databases.[n].views.[n].source

Nome da coleção de origem da visualização. Se quiser criar uma visualização com um estágio $sql , você deverá omitir este campo , pois a instrução SQL especificará a collection de origem.

databases.[n].views.[n].pipeline

Estágio(s) de pipeline de agregação a serem aplicados à coleção source . Você também pode criar visualizações usando o estágio $sql .