Atlas Data Lake — 预览
关于 Atlas Data Lake
MongoDB Atlas Data Lake 是针对已提取数据的分析优化型对象存储服务。Atlas Data Lake 针对扁平或嵌套数据提供优化的分析存储格式,具有低延迟查询性能。
Atlas Data Lake处于公开预览阶段。
先决条件
Atlas Data Lake需要一个支持备份的 M10
或更高版本的Atlas 集群,并且会按指定的节奏运行云备份作业。 要学习;了解有关云备份的更多信息,请参阅备份集群。
支持的数据源类型
Atlas Data Lake 支持 Atlas 集群的集合快照作为提取数据的数据源。 Atlas Data Lake 自动从快照中提取数据,并以分析优化的格式对数据进行分区和存储。 它不支持为视图创建管道。
数据存储格式和查询支持
Atlas Data Lake 以面向分析的格式存储数据,该格式基于开源标准并支持多态数据。数据是完全托管的,分区级别索引,并随着数据的增长而平衡。Atlas Data Lake 优化了分析类型查询的数据提取。当 Atlas Data Lake 提取新数据时,它会重新平衡现有文件,以确保一致的性能并最大限度地减少数据扫描。
Atlas Data Lake 以最适合数据结构的格式来存储数据,以允许快速点查询和聚合查询。对于点查询,Atlas Data Lake 的存储格式通过更快地查找分区来提高性能。聚合类型查询仅扫描提供结果所需的列。此外,Atlas Data Lake 分区索引可直接从分区索引返回结果,而无需扫描底层文件,从而提高聚合查询的性能。
用途示例
您可以使用 Atlas Data Lake 来:
将分析工作负载与操作集群隔离开来。
使用
$out
为长时间运行的聚合提供快照中集群数据的一致视图。在不同时间点查询和比较各个版本的集群数据。
Atlas Data Lake 地区
Atlas Data Lake 在以下 AWS 区域提供优化的存储:
数据湖区域 | AWS 区域 |
---|---|
Virginia, USA | us-east-1 |
美国俄勒冈州 | us-west-2 |
巴西圣保罗 | sa-east-1 |
爱尔兰 | eu-west-1 |
英国伦敦 | eu-west-2 |
德国法兰克福 | eu-central-1 |
印度孟买 | ap-south-1 |
新加坡 | ap-southeast-1 |
澳大利亚悉尼 | 亚太东南部-2 |
Atlas Data Lake 自动选择距离 Atlas 集群最近的区域来存储提取的数据。
帐单
根据存储摄取数据的 AWS 区域,您需要承担每月每 GB 的 Atlas Data Lake 费用。您需要为以下项目承担 Atlas Data Lake 成本:
从您的数据源摄取数据
云对象存储上的存储
提取成本
Atlas Data Lake 向您收取用于提取、上传和传输数据的资源费用。Atlas Data Lake 对快照导出操作的收费标准如下:
快照提取的每 GB 成本
在 AWS 服务器上下载快照导出所需的每小时费用
快照导出恢复存储所需的每小时每 GB 费用
针对快照导出存储 IOPS 的每 IOPS 每小时费用
存储成本
Atlas Data Lake 根据以下原则对存储和访问存储数据进行收费:
Cost per GB per day
使用 Atlas Data Federation 查询 Data Lake 数据集时,每一千个存储访问请求的成本。每个访问请求对应于 Atlas Data Federation 为处理查询而摄取的 Data Lake 数据集中的数据分区。
注意
您现在可以对 Atlas Data Federation 为查询处理的数据量设置限制,以控制成本。 要了解更多信息,请参阅管理 Atlas Data Federation 查询限制。
要了解更多信息,请参阅 Atlas 定价页面。