Ver Pipelines do Atlas Data Lake - Pré-visualização
Você pode visualizar todos os seus pipelines de ingestão de dados e exibir os detalhes de um pipeline de ingestão de dados especificado em seu projeto por meio dainterface do usuário do Atlas , da API do ingestão de dados Pipelines e da Atlas CLI. Você também pode recuperar todas as suas tarefas concluídas de ingestão de dados do Data Lake a partir da API e da Atlas CLI.
Procedimento
Para retornar todos os pipelines de ingestão de dados para seu projeto usando a Atlas CLI, execute o seguinte comando:
atlas dataLakePipelines list [options]
Para saber mais sobre a sintaxe e os parâmetros do comando, consulte a documentação do Atlas CLI paraa lista deAtlas dataLakePipelines do .
Ver Detalhes de uma Pipeline do Atlas Data Lake
Para retornar os detalhes da ingestão de dados especificada para seu projeto usando a Atlas CLI, execute o seguinte comando:
atlas dataLakePipelines describe <pipelineName> [options]
Para saber mais sobre a sintaxe e os parâmetros do comando, consulte a documentação do Atlas CLI para descrever o Atlas dataLakePipelines.
Visualizar todos os agendamentos disponíveis para uma pipeline do ingestão de dados Atlas
Para retornar todos os agendamentos disponíveis para a ingestão de dados especificada usando o Atlas CLI, execute o seguinte comando:
atlas dataLakePipelines availableSchedules list [options]
Para saber mais sobre a sintaxe e os parâmetros do comando, consulte a documentação da Atlas CLI para a listaAtlas dataLakePipelines availableSchedules.
Ver todos os snapshots de backup disponíveis para uma pipeline do ingestão de dados Atlas
Para retornar todos os snapshots de backup disponíveis para a ingestão de dados especificada usando o Atlas CLI, execute o seguinte comando:
atlas dataLakePipelines availableSnapshots list [options]
Para saber mais sobre a sintaxe e os parâmetros do comando, consulte a documentação da Atlas CLI para a listaAtlas dataLakePipelines availableSnapshots .
Ver execuções do pipeline do Atlas ingestão de dados
Para retornar todas as execuções do pipeline de ingestão de dados para seu projeto usando o Atlas CLI, execute o seguinte comando:
atlas dataLakePipelines runs list [options]
Para saber mais sobre a sintaxe e os parâmetros do comando, consulte a documentação do Atlas CLI para lista de execuções do Atlas dataLakePipelines.
Visualizar Detalhes de uma Execução de Pipeline do Atlas Data Lake
Para retornar os detalhes da execução do pipeline de ingestão de dados especificado para seu projeto usando a Atlas CLI, execute o seguinte comando:
atlas dataLakePipelines runs describe <pipelineRunId> [options]
Para saber mais sobre a sintaxe e os parâmetros do comando, consulte a documentação do Atlas CLI para descrever as execuções do Atlas dataLakePipelines.
Para recuperar todos os pipelines do Data Lake para um projeto por meio da API, envie uma solicitação GET para o endpoint Data Lake pipelines . Para saber mais sobre a sintaxe e os parâmetros do ponto de extremidade pipelines para recuperar todos os seus pipelines do Data Lake, consulte Retornar todos os pipelines do Data Lake de um projeto.
Para recuperar um de seus pipelines do Data Lake por meio da API, envie uma solicitação de GET para o endpoint do Data Lake pipelines com o nome do pipeline do Data Lake que você deseja recuperar. Para saber mais sobre a sintaxe e os parâmetros do endpoint pipelines para recuperar um de seus pipelines do Data Lake, consulte Retornar um pipeline do Data Lake.
Ver execuções do pipeline do Atlas ingestão de dados
Para recuperar todos os trabalhos de ingestão de dados de pipeline concluídos do Data Lake para um projeto por meio da API, envie uma solicitação de GET para o endpoint do Data Lake runs . Para saber mais sobre a sintaxe e as opções da API para o endpoint runs , consulte Retornar todas as execuções do pipeline do Data Lake de um projeto.
Para recuperar os detalhes de um dos trabalhos de ingestão de dados de pipeline do Data Lake concluídos por meio da API, envie uma solicitação de GET para o endpoint do Data Lake runs com o identificador exclusivo do tarefa de ingestão de dados de pipeline do Data Lake concluído que você deseja recuperar. Para saber mais sobre a sintaxe e as opções da API para o endpoint runs , consulte Retornar uma execução do pipeline do Data Lake.
Faça login no MongoDB Atlas.
Go na Atlas Data Lake Atlas UI do .
Se ainda não estiver exibido, selecione a organização que contém seu projeto no menu Organizations na barra de navegação.
Se ainda não estiver exibido, selecione seu projeto no menu Projects na barra de navegação.
Na barra lateral, clique em Data Lake sob o título Deployment.
Visualizar pipelines do Data Lake.
A página exibe todos os pipelines do Data Lake no projeto. Para cada pipeline do Data Lake, o serviço também exibe as seguintes informações:
Nome da coluna | Descrição |
|---|---|
pipelineName | Nome do pipeline do Data Lake. Cada pipeline pode produzir vários conjuntos de dados. Você pode expandir o nome para visualizar os conjuntos de dados no pipeline. |
Fonte de dados | Fonte dos dados nos conjuntos de dados de pipeline. Para dados de uma coleção no Atlas cluster, esta coluna mostra o nome do agrupamento, o nome do banco de dados e o nome da coleção separados por |. |
tamanho de dados | Tamanho dos dados para cada conjunto de dados. |
Last Run Time | Data e hora em que o pipeline foi executado para consumir dados para cada conjunto de dados. |
Status | Status do pipeline. O valor pode ser um dos seguintes para um pipeline:
|
Frequency | Frequência com que os dados do cluster são ingeridos e armazenados para consulta. |
Actions | Ações que você pode executar para cada pipeline. Você pode clicar em uma das seguintes opções:
|