Atlas dataLakePipelines criar

Nesta página

Sintaxe

argumentos
Opções
Opções herdadas
Exemplos

O Data Lake está obsoleto. A partir de 2024 de setembro , o Data Lake está obsoleto e chegará ao fim da vida útil. Ele será removido em 30 de setembro de 2025. Se você usa o Data Lake, deve migrar para soluções alternativas antes que o serviço seja removido. Para saber mais, consulteo Guia de Migração do

Cria um novo pipeline de ingestão de dados.

Para usar esse comando, você deve se autenticar com uma conta de usuário ou uma chave de API com a role de proprietário do projeto.

Sintaxe

Sintaxe do comando

atlas dataLakePipelines create <pipelineName> [options]

argumentos

Nome	Tipo	Obrigatório	Descrição
pipelineName	string	true	Etiqueta que identifica o pipeline

Opções

Nome	Tipo	Obrigatório	Descrição
-f, --file	string	false	Nome do arquivo de configuração do pipeline de ingestão de dados JSON a ser usado. Mutualmente exclusivo com --sinkType, --sinkMetadataProvider, --sinkMetadataRegion, --sinkPartitionField, --sourceType, --sourceClusterName, --sourceCollectionName, --sourceDatabaseName, --sourcePolicyItemId, --transform.
-h, --help		false	ajuda para criar
-o, --output	string	false	Formato de saída. Os valores válidos são JSON, json-path, go-template ou go-template-file. Para ver o resultado completo, use a opção -o JSON.
--projectId	string	false	String hexadecimal que identifica o projeto a ser usado. Esta opção substitui as configurações no arquivo de configuração ou variável de ambiente.
--sinkMetadataProvider	string	false	Fornecedor de nuvem de destino para esse pipeline de ingestão de dados. Mutuamente exclusivo com --file.
--sinkMetadataRegion	string	false	Região de destino do provedor de nuvem para este pipeline de data lake. Mutuamente exclusivo com --file.
--sinkPartitionField	strings	false	Campo ordenados usados para organizar manualmente os dados no destino. Mutuamente exclusivo com --file.
--sinkType	string	false	Tipo de destino de ingestão para este pipeline de ingestão de dados. Mutuamente exclusivo com --file.
--sourceClusterName	string	false	Etiqueta legível por humanos que identifica o cluster de origem. Mutuamente exclusivo com --file.
--sourceCollectionName	string	false	Etiqueta legível por humanos que identifica a collection de origem. Mutuamente exclusivo com --file.
--sourceDatabaseName	string	false	Rótulo legível por humanos que identifica o reconhecimento de data center de origem. Mutuamente exclusivo com --file.
--sourcePolicyItemId	string	false	Etiqueta legível por humanos que identifica o item da política. Mutuamente exclusivo com --file.
--sourceType	string	false	Tipo de fonte de ingestão para este pipeline de data lake. Mutuamente exclusivo com --file.
--transform	strings	false	Campos a serem excluídos para este pipeline de ingestão de dados. Mutuamente exclusivo com --file.

Opções herdadas

Nome	Tipo	Obrigatório	Descrição
-P, --profile	string	false	Nome do perfil a ser usado no arquivo de configuração. Para saber mais sobre perfis para o Atlas CLI, consulte https://dochub.mongodb.org/core/atlas-cli-save-connection-settings.

Exemplos

# create data lake pipeline:
atlas dataLakePipelines create Pipeline1 --sinkType CPS --sinkMetadataProvider AWS --sinkMetadataRegion us-east-1 --sinkPartitionField name:0,summary:1 --sourceType PERIODIC_CPS --sourceClusterName Cluster1 --sourceDatabaseName sample_airbnb --sourceCollectionName listingsAndReviews --sourcePolicyItemId 507f1f77bcf86cd799439011 --transform EXCLUDE:space,EXCLUDE:notes

Voltar

Lista

conjuntos de dados