Docs 菜单
Docs 主页
/ /
MongoDB Atlas Data Lake
/

查看Atlas Data Lake管道 — 预览

您可以查看所有 Data Lake 管道,以及通过 Atlas 用户界面、Data Lake 管道API和 Atlas CLI 查看项目中指定 Data Lake 管道的详细信息。 您还可以从API和 Atlas CLI 检索所有已完成的 Data Lake 管道数据摄取作业。

要使用 Atlas CLI 返回您的项目的所有 Data Lake 管道,请运行以下命令:

atlas dataLakePipelines list [options]

要学习;了解有关命令语法和参数的更多信息,请参阅Atlas CLI AtlasdataLakePipelines 列表 的 文档。

提示

请参阅:相关链接

要使用 Atlas CLI 返回您的项目的指定 data lake 管道的详细信息,请运行以下命令:

atlas dataLakePipelines describe <pipelineName> [options]

要学习;了解有关命令语法和参数的更多信息,请参阅Atlas CLI文档中Atlas dataLakePipelines describe。

提示

请参阅:相关链接

要使用 Atlas CLI 返回指定 data lake 管道的所有可用安排,请运行以下命令:

atlas dataLakePipelines availableSchedules list [options]

要学习;了解有关命令语法和参数的更多信息,请参阅Atlas CLI文档中的Atlas DataLakePipelines availableSchedules 列表。

提示

请参阅:相关链接

要使用 Atlas CLI 返回指定数据湖管道的所有可用备份快照,请运行以下命令:

atlas dataLakePipelines availableSnapshots list [options]

要了解有关命令语法和参数的更多信息,请参阅 Atlas DataLakePipelines availableSnapshots 列表的 Atlas CLI 文档。

提示

请参阅:相关链接

要使用 Atlas CLI 返回您的项目的所有 Data Lake 管道运行,请运行以下命令:

atlas dataLakePipelines runs list [options]

要了解有关命令语法和参数的更多信息,请参阅 Atlas DataLakePipelines 运行列表的 Atlas CLI 文档。

提示

请参阅:相关链接

要使用 Atlas CLI 返回您的项目的指定Data Lake管道运行的详细信息,请运行以下命令:

atlas dataLakePipelines runs describe <pipelineRunId> [options]

要学习;了解有关命令语法和参数的更多信息,请参阅Atlas CLI文档,了解Atlas DataLakePipelines 运行说明。

提示

请参阅:相关链接

要通过API检索项目的所有Atlas 数据湖管道,请向Atlas 数据湖 pipelines端点发送 GET请求。 要学习;了解有关用于检索所有Atlas 数据湖管道的pipelines端点语法和参数的更多信息,请参阅从一个项目返回所有Atlas 数据湖管道。

要通过API检索您的某一Atlas 数据湖管道,请向Atlas 数据湖 pipelines端点发送GET请求,其中包含要检索的 Data Atlas 数据湖管道的名称。 要学习;了解有关检索一个Atlas 数据湖管道的pipelines端点语法和参数的更多信息,请参阅返回一个Atlas 数据湖管道。

要通过API检索项目的所有已完成的Atlas 数据湖管道数据摄取作业,请向Atlas 数据湖 runs端点发送GET请求。 要学习;了解有关runs端点的API语法和选项的更多信息,请参阅从一个项目返回所有Atlas 数据湖管道运行。

要通过API检索已完成的Atlas 数据湖管道数据导入作业之一的详细信息,请向Atlas 数据湖 runs端点发送GET请求,其中包含您要检索的已完成的 Data Atlas 数据湖管道数据导入作业的唯一标识符。检索. 要学习;了解有关runs端点的API语法和选项的更多信息,请参阅返回一个Atlas 数据湖管道运行。

1
2
  1. 如果尚未显示,请选择包含您的项目的组织导航栏中的 Organizations菜单。

  2. 如果尚未显示,请从导航栏的 Projects 菜单中选择您的项目。

  3. 在侧边栏中,单击 Deployment 标题下的 Data Lake

3

该页面显示项目中的所有Atlas 数据湖管道。 对于每个Atlas 数据湖 管道,该服务还显示以下信息:

列名称
说明
pipelineName
Atlas 数据湖管道的名称。 每个管道可以生成多个数据集。 您可以展开名称以查看管道中的数据集。
数据来源
管道数据集中的数据源。 对于来自 Atlas 集群上集合的数据,此列显示集群名称、数据库名称和集合名称,以|分隔。
数据大小
每个数据集的数据大小。
Last Run Time
管道运行以获取每个数据集的数据的日期和时间。
Status

管道的状态。 对于管道,值可以是以下值之一:

  • Active - 表示管道处于活动状态

  • Paused - 表示管道的数据摄取已暂停

Frequency
为查询而摄取和存储集群数据的频率。
Actions

您可以对每个管道执行的操作。 您可以单击以下任一选项:

  • || 暂停数据摄取,然后恢复数据摄取。 您无法暂停数据的按需摄取。

  • 编辑管道的数据摄取安排。

  • 以执行以下操作:

    • 删除管道。 此动作无法撤消。 如果您删除管道, Atlas Data Lake将删除数据集(包括数据),并从引用数据集的联合数据库实例中删除数据集。 如果删除管道内的数据集, Atlas Data Lake会从引用该数据集的联合数据库实例存储配置中删除该数据集。

    • trigger按需管道运行。

后退

管理数据湖管道