Google Cloud Platform Bucket de armazenamento do Google Cloud Platform

Array de objetos em que cada objeto representa um armazenamento de dados a ser associado à instância do banco de dados federado. O armazenamento de instância do banco de dados federado captura:

• Arquivos em um Google Cloud Platform bucket de armazenamento do Google Cloud Platform

• Documentos em um Atlas cluster

• Arquivos armazenados em URLs acessíveis publicamente.

O Atlas Data Federation só pode acessar armazenamentos de dados definidos no objeto stores.

O prefixo Atlas Data Federation se aplica ao procurar arquivos no Google Cloud Platform bucket Storage do Google Cloud Platform. Por exemplo, considere um Google Cloud Platform bucket de armazenamento da Google Cloud Platform metrics com a seguinte estrutura:

metrics
  |--hardware
  |--software
    |--computed

O armazenamento de instância do banco de dados federado acrescenta o valor de prefix a databases.[n].collections.[n].dataSources.[n].path para criar o caminho completo para a ingestão dos arquivos. Definir prefix como /software restringe qualquer objeto databases que esteja usando a instância do banco de dados federado apenas a subcaminhos de /software.

O padrão é a raiz do bucket de armazenamento do Google Google Cloud Platform Cloud Platform, recuperando todos os arquivos.

Nome da collection para a qual a Atlas Data Federation mapeia os dados contidos em cada databases.[n].collections.[n].dataSources.[n].storeName. Cada objeto na array representa o mapeamento entre a collection e um objeto na matriz stores.

Você pode gerar nomes de coleções dinamicamente a partir de caminhos de arquivos, especificando * para o nome da coleção e a função collectionName() no campo de caminho. Consulte Gerar nomes de coleção dinâmicos a partir do caminho do arquivo para obter exemplos.

Controla como o Atlas Data Federation procura e analisa arquivos no databases.[n].collections.[n].dataSources.[n].storeName antes de mapeá-los para o <collection>. a instância do banco de dados federado precede o stores.[n].prefix ao path para construir o caminho completo para pesquisa. Especifique / para capturar todos os arquivos e pastas do caminho prefix.

Por exemplo, considere um Google Cloud Platform bucket de armazenamento da Google Cloud Platform chamado metrics com a seguinte estrutura:

metrics
|--hardware
|--software
  |--computed

Um path de / direciona o Atlas Data Federation para procurar todos os arquivos e pastas no bucket metrics.

Um path de /hardware orienta o Atlas Data Federation a procurar somente nesse caminho os arquivos que serão processados.

Se o stores.[n].prefix for software, o Atlas Data Federation pesquisará arquivos somente no caminho /software/computed.

Anexar o caractere curinga * ao caminho direciona a Atlas Data Federation a incluir todos os arquivos e pastas desse ponto no caminho. Por exemplo, /software/computed* corresponderia a arquivos como /software/computed-detailed, /software/computedArchive e /software/computed/errors.

databases.[n].collections.[n].dataSources.[n].path oferece suporte à sintaxe adicional para análise de nomes de arquivos, incluindo:

• Geração de campos de documento a partir de nomes de arquivo.

• Utilização de expressões regulares para controlar a geração de campo.

• Definição de limites para agrupar nomes de arquivos por registro de data/hora.

Consulte Definir Caminho para Dados do S3 para obter mais informações.

Ao especificar o path:

• Especifique o tipo de dados para o atributo de partição.

• Certifique-se de que o tipo de atributo de partição corresponda ao tipo de dados para analisar.

• Utilize o delimitador especificado em delimiter.

Ao especificar atributos do mesmo tipo, faça qualquer um dos seguintes:

• Adicione um separador constante entre os atributos.

• Use expressões regulares para descrever o padrão de pesquisa. Para saber mais, consulte Funções de análise não permitidas.

Formato padrão que o Data Federation assume se encontrar um arquivo sem extensão ao pesquisar o databases.[n].collections.[n].dataSources.[n].storeName.

Os seguintes valores são válidos para o campo defaultFormat:

.json, .json.gz, .bson, .bson.gz, .avro, .avro.gz, .orc, .tsv, .tsv.gz, .csv, .csv.gz, .parquet

Se omitido, o Data Federation processa alguns bytes do arquivo para tentar detectar o tipo.

Nome do campo que inclui a procedência dos documentos nos resultados. Se você especificar esta configuração na configuração de armazenamento, o Atlas Data Federation retornará os seguintes campos para cada documento no resultado:

Você não pode definir esta configuração utilizando o Editor Visual na UI do Atlas.

Sinalizador que especifica se devem ser omitidos os atributos (pares de chave e valor) que o Atlas Data Federation adiciona aos documentos na coleção. Você pode especificar um dos seguintes valores:

• false - para adicionar os atributos

• true - omitir os atributos

Se omitido, o padrão é false e o Atlas Data Federation adiciona os atributos.

Por exemplo, considere um arquivo denominado /employees/949-555-0195.json para o qual você configura o databases.[n].collections.[n].dataSources.[n].path /employees/{phone string}. O Atlas Data Federation adiciona o atributo phone: 949-555-0195 a documentos nesse arquivo se omitAttributes for false, independentemente de o par de valores-chave já existir no documento. Se você definir omitAttributes como true, o Atlas Data Federation não adicionará o atributo ao documento na coleção virtual.