Docs 菜单
Docs 主页
/
MongoDB Atlas
/
版本说明

Data Federation 变更日志

在此页面上

  • 2024 年发布
  • 2023 年发布
  • 2022 年发布
  • 2021 年发布
  • 2020 年发布
  • 2019 年发布

注意

发布说明仅提及具有功能更改的版本

MongoDB 每周都会发布 Atlas Data Federation，不断提高 Atlas Data Federation 的性能和稳定性。 这些发布说明仅包含包含功能更改的版本。 如果特定的 Atlas Data Federation 版本仅包含性能和稳定性改进，则不会包含在这些发布说明中。 要确定您使用的是哪个发布版本，请检查发布版本字符串以了解发布日期。

2024 年发布

18 6 月2024发布：

  • 能力读取具有 zstd 列压缩的 Parquet 文件。

21 5 月2024发布：

14 5 月2024发布：

  • 更改哪些区域处理不支持地区的数据：

    • ca-central-1 (Montreal) 将进程来自ca-west-1 (Alberta)而不是eu-west-1 (Ireland)的数据。

    • ap-northeast-1 (Tokyo) 将处理数据：

      • 来自ap-northeast-2 (Seoul)而不是eu-west-1 (Ireland) 。

      • 来自ap-northeast-3 (Osaka)而不是eu-west-1 (Ireland) 。

      • 来自ap-east-1 (Hong Kong)而不是ap-southeast-2 (Sydney) 。

  • 修复了killOp命令无法终止查询的问题。

9 4 月2024发布：

  • 在 Atlas Data Federation 视图上添加对$sql阶段的支持。

  • 修复创建视图时Atlas Data Federation未正确检查权限的问题。

2024 年 3 月 26 日发布

  • 解决了 ISO 8602格式的生成日期导致查询结果不正确的问题。

2024 年 3 月 19 日发布

  • Python修复了使用 IAM 身份验证时导致Amazon Web Services 驱动程序无法连接的问题。

  • 修复导致$limit查询失败并返回InternalError的问题。

  • 改进了查询规划器中的模板分区筛选，从而提高了在某些情况下针对多个 blob 存储源的查询性能。

2024 年 2 月 28 日发布

2024 年 2 月 14 日发布

2024 年 1 月 31 日发布

  • 如果您 配置Amazon Web Services Amazon Web ServicesIAM 进行身份验证，则支持 IAM。Atlas 用户界面目前不支持此功能。

2023 年发布

2023 年 12 月 5 日发布

  • 将错误CommandNotSupported更改为CommandNotFound 。

2023 年 11 月 28 日发布

2023 年 10 月 31 日发布

  • 提高了读取Parquet文件时的性能。

  • 添加了对使用collMod修改视图的支持。

  • 添加将.jsonl文件自动识别为 JSON Lines 文件。

  • 修复了sqlGenerateSchema无法在 Online 存档源上运行的问题。

2023 年 8 月 22 日发布

2023 年 8 月 8 日发布

  • 改进了超过maxTimeMS限制的错误消息。

  • 改进了针对 Atlas Data Lake 数据集和 Online Archive 的查询的explain()结果。

2023 年 8 月 1 日发布

  • 提高使用$ne操作符的查询性能。

2023 年 7 月 25 日发布

2023 年 6 月 27 日发布

  • 当您通过 Atlas Data Federation 对 Atlas 集群运行$search查询时，支持$$SEARCH_META聚合变量。

2023 年 6 月 13 日发布

  • 为最常见的 Atlas Data Federation 使用案例的模板引入新的入门体验。

  • 改进了$out 到 S3查询的错误消息以提供更多详细信息。

2023 年 5 月 9 日发布

  • 优化分区属性，以便在聚合管道中使用 $in 操作符时选择 S3 上的文件。

2023 年 4 月 18 日发布

  • 修改$queryHistory的行为，以在以下情况下指示查询已完成：所有批次均已作为游标文件上传、所有批次均已返回给用户或存在错误。

  • 添加在命令中的注释字段中使用 BSON 数据的功能。

2023 年 4 月 4 日发布

  • 改进了查询超过 16 MB 的文档时的错误消息。

  • 修复$getFields的正确性问题；在该问题中，在查询空子文档时，Atlas Data Federation 与 MongoDB 不同。

  • 提高写入 Parquet 时$out到S3的稳定性和性能。

2023 年 2 月 21 日发布

  • 修复了$match查询的一个问题，该问题会导致在查询数组中的嵌套文档时无法返回文档，因为任何嵌套文档都缺少目标字段。

  • 提高使用$out写入 Parquet 到S3时的性能和稳定性。

  • 添加能力$comment操作符和 $queryHistory 中的查询来使用任何BSON类型的功能。（从MongoDB5.1 开始，$comment 操作符已被删除）。

  • Atlas Data Federation 现在会在buildInfo 输出中返回 MongoDB 6.2.0。

2023 年 2 月 15 日发布

2023 年 2 月 7 日发布

  • 改进了客户端尝试在联合数据库实例中插入、更新或删除文档时的错误消息。

2023 年 1 月 24 日发布

2023 年 1 月 11 日发布

  • 修复了导致maxTimeMS 为batchSize 的0 失败的问题。

2022 年发布

2022 年 12 月 19 日发布

2022 年 11 月 30 日发布

  • 将 Atlas Data Federation 更新至 MongoDB 6.0.2。

2022 年 11 月 15 日发布

2022 年 10 月 25 日发布

  • 提高性能和稳定性。

  • 使用排序元数据来优化查询，从而提高 Atlas Data Lake 数据集的查询性能。

  • 修复当顶级模式或根模式标记为REPEATED或OPTIONAL时，导致 Atlas Data Federation 无法读取 Parquet 文件的问题。

  • 提高了使用$out写入 Parquet 到S3时的稳定性。

2022 年 9 月 13 日发布

  • 修复了导致表达式不支持的严重错误的$not和$in管道问题。

  • 提高了写入 Parquet 文件格式的$out到S3查询的性能。

  • 将 Parquet 写入器的默认最大行组大小更新为 128MB。

  • 改进了 Data Lake 数据集分区字段的$group阶段。

  • 修复具有多个$lookup阶段的聚合管道，其中一个阶段定义一个字段，而另一个阶段删除同一字段。

  • 修复 Atlas Data Federation 如何处理S3中以分隔符结尾的文件（例如 '/'）。

2022 年 8 月 23 日发布

  • 提高性能和稳定性。

  • 添加了对有选择地指定 ISODate 格式的支持，以优化日期类型分区的性能。

2022 年 8 月 02 日发布

  • 提高性能和稳定性。

  • 分块执行$merge 。

2022 年 7 月 12 日发布

  • 提高性能和稳定性。

  • Atlas 现在按 Atlas Data Federation 从HTTP源处理的总字节数收费。

  • 在$merge聚合阶段添加对后台选项的支持。

2022 年 6 月 21 日发布

  • 提高性能和稳定性。

  • 新增对 Atlas Data Lake 作为createStore命令的“存储类型”的支持。

  • 改进联合$search查询的错误消息传递。

2022 年 6 月 07 日发布

  • 将 Atlas Data Lake 重命名为 Atlas Data Federation，并重新启动。

    重要

    以前称为 Atlas Data Lake 的联合查询引擎服务现在称为 Atlas Data Federation。 要了解有关 Atlas Data Federation 的更多信息，请参阅设置和查询 Data Federation。

2022 年 5 月 31 日发布

  • 提高性能和稳定性。

  • 禁用对 MySQL 方言的支持。

2022 年 5 月 10 日发布

  • 提高性能和稳定性。

2022 年 4 月 19 日发布

  • 提高性能和稳定性。

  • 支持以下新的 MongoDB 5.2 聚合操作符：

    • $sortArray

    • $topN

    • $bottomN

    • $maxN

    • $firstN

    • $lastN

  • 修复了一个错误，以允许您使用分片集群的读取偏好（read preference）。

2022 年 3 月 29 日发布

  • 提高性能和稳定性。

2022 年 3 月 15 日发布

  • 提高性能和稳定性。

  • 对maxRowGroupSize施加上限。

2022 年 2 月 15 日发布

2022 年 1 月 18 日发布

2021 年发布

2021 年 12 月 28 日发布

  • 提高性能和稳定性。

  • 支持对前缀为system的collection进行查询，但不支持对前缀为system.的collection进行查询。

2021 年 12 月 7 日发布

  • 提高性能和稳定性。

  • 添加对$maxTimeMS选项的支持。

2021 年 11 月 16 日发布

  • 提高性能和稳定性。

  • 允许通过私有端点连接到数据湖。

  • 添加对 X.509 授权的支持。

  • 添加对带有$setField聚合表达式的空field参数的支持。

  • 修复命令在失败时返回零退出代码的问题。

  • 修复了写入 Parquet 且具有空子文档的文档包含空 Parquet 群组的问题。

  • 更新EstimateRowGroupSize以报告 Parquet 中存储的文档的UncompressedSize 。

  • 将$out使用 Parquet 时的maxRowGroupSize最小值调整为 16MB。

  • 删除了对使用$out将包含重复字段的文档写入 Parquet 的支持。

  • 改进了$out的错误消息。

2021 年 10 月 27 日发布

  • 提高性能和稳定性。

  • 包括usersInfo命令输出中的 X. 509用户。

  • 提高 SCRAM 身份验证性能。

2021 年 10 月 5 日发布

  • 提高性能和稳定性。

  • 添加对authenticate命令的支持。

  • 在 Parquet 读取器/写入器中保留二进制子类型。

2021 年 9 月 14 日发布

2021 年 8 月 25 日发布

  • 提供各种稳定性改进。

  • 提高了collStats和dbStats命令的性能和稳定性。

  • 新增对$merge聚合管道阶段的支持。

  • 允许使用更具表现力的$lookup聚合管道阶段语法的localField和foreignField 。

  • 实现$count累加器。

2021 年 8 月 3 日发布

  • 提高性能。

  • 改进了错误消息传递。

  • 将computeTime和automaticRefreshInProgress字段添加到collStats和dbStats命令输出。

2021 年 7 月 12 日发布

2021 年 6 月 23 日发布

  • 允许从用户界面和API下载Data Federation查询日志。

  • 删除对大型集合命名空间的限制。

  • 为collStats和dbStats添加了绕过缓存的选项，以获取最新的统计信息。

  • 支持serverStatus命令。

2021 年 6 月 8 日发布

  • 提高稳定性和性能。

  • 支持带有public配置标志的公共 S3 数据存储。

  • 将联合查询与 Atlas 集群时支持 Zstandard 压缩。

  • 将db字段添加到dbStats结果中。

2021 年 5 月 11 日发布

  • 支持通过存储配置为 Atlas 集群存储选择读取偏好、读取标签和最大过时时间。

  • 拒绝使用版本化 API 集发送的命令。

  • 在data lake$collStats聚合阶段启用count参数。

  • 不再允许在$facet子管道中使用 { $collStats 。

  • 处理完每个项目后，强制执行$facet的最大文档大小。

  • 提高了$match阶段的性能。

  • 改进了错误消息传递。

2021 年 4 月 21 日发布

  • 提高稳定性和性能。

  • 包括改进对 Parquet 的支持。

  • 支持将M0 、 M2和M5 Atlas 集群作为数据源。

  • 为 Atlas 集群中的通配符集合添加正则表达式模式匹配选项。

  • 包括更新的查询执行限制错误消息。

2021 年 3 月 30 日发布

  • 用户身份验证后首次自动生成存储配置。

  • 通过hello命令返回连接 ID。

  • 在跨多个 Atlas 集群的 Atlas Data Lake 集合上支持$geoNear 。

  • 包括各种性能改进。

  • 包括改进的终止查询的错误消息。

2021 年 3 月 9 日发布

  • 包括新的载入和存储配置界面。

  • 改进了 SQL 模式错误消息。

  • 支持对由多个 Atlas 集合组成的集合进行查询下推。

  • 提高稳定性和性能。

2021 年 2 月 16 日发布

  • 为通配符collection添加了SQL 模式生成。

  • 修复稳定性和性能问题。

2021 年 1 月 26 日发布

  • 添加新的$sql formatVersion ，以减小结果集的数据大小。

  • 提高了$lookup的性能。

  • 在解释命令中添加"verbosity": "queryPlannerExtended"支持以过滤掉不匹配的分区。

  • 添加对$$NOW 的支持。

  • 向工具报告 Atlas Data Lake 为 MongoDB 版本 4.4。

2021 年 1 月 5 日发布

  • 在$out to Atlas聚合阶段添加对后台选项的支持。

  • 包括稳定性和性能改进。

2020 年发布

2020 年 12 月 16 日发布

  • 添加{background: true}选项，允许查询在$out到S3阶段的背景运行。

  • 引入$queryHistory聚合阶段来查看过去的查询。

  • 包括各种性能和稳定性改进。

2020 年 11 月 24 日发布

  • 支持$out到S 3的 Parquet、CSV 和 TSV 格式。

  • 为游标添加滚动限制。

  • 改进了无法解析的命令的错误消息。

2020 年 11 月 3 日发布

2020 年 10 月 13 日发布

  • 支持对defaultFormat HTTP 存储中可公开访问的 URL 中的文件使用 。

  • 将每个联合数据库实例的并发查询数限制为 30 个。

  • 支持bzip2压缩格式。

  • 支持聚合命令的comment选项。

  • 包括各种性能和稳定性改进。

2020 年 9 月 22 日发布

  • 支持用于终止长时间运行的查询的killOp命令。

  • configuration为 S3 联合数据库实例存储的collection的最大数量添加了 。

2020 年 9 月 1 日发布

2020 年 8 月 18 日发布

  • 提高$out到S3的写入性能。

  • 包括一般性能和稳定性改进。

2020 年 8 月 13 日发布

  • 将correlationID添加到$currentOp输出。

  • 包括一般性能和稳定性改进。

2020 年 7 月 28 日发布

  • 放宽了$out S3地区要求。

  • 包括改进的存储配置错误消息。

  • 包括一般性能和稳定性改进。

2020 年 7 月 14 日发布

  • 支持$collStats聚合管道阶段。

  • 包括针对 ORC 的性能优化 文件。

  • 包括一般性能和稳定性改进。

2020 年 7 月 7 日发布

  • 在count()命令中添加对skip和limit字段的支持。

2020 年 6 月 16 日发布

  • 添加storageValidateConfig命令以验证联合数据库实例存储配置。

  • 包括错误修复和性能改进。

2020 年 6 月 2 日发布

  • 包括一般性能和稳定性改进。

2020 年 5 月 26 日发布

  • 添加对Atlas 集群作为数据源的支持。

  • 提高了$lookup聚合管道阶段的性能。

  • 添加了对将 的 $out中的3 string$convert 表达式计算为 Sfilename 的支持。

  • 更新 Parquet 支持 MAP 类型。

  • 改进了$out到S3的错误消息传递。

  • 添加用于生成存储配置的命令。

2020 年 5 月 12 日发布

  • 自动为新创建的联合数据库实例生成存储配置。

  • 允许使用 Data Federation 中的$out将分区感知数据写入 S 3 。

2020 年 5 月 5 日发布

  • 在 Atlas 创建联合数据库实例时生成存储配置。

  • 在$out S3 中添加对 的支持。

  • 更新对 Apache Parquet 的支持 LIST 元素。

  • 将 传输协议 支持从 升级到4.2 3.6。

  • 在解释计划中添加对详细程度的支持。

2020 年 4 月 26 日发布

  • 修复稳定性问题。

2020 年 4 月 14 日发布

  • 提高性能。

  • 支持$currentOp阶段，以便您可以监控长时间运行的查询的查询进度。

  • 更新isodate属性以接受其他格式。

  • 使用存储配置命令时刷新元数据目录。

2020 年 3 月 26 日发布

2020 年 3 月 9 日发布

  • 支持选择授予联合数据库实例对 S 3存储桶的写入权限，从而允许使用$out语义直接写入这些存储桶。

  • 添加用于存储配置管理的增量存储、数据库、collection和视图命令。

  • 将通配符集合返回的集合限制为 1,000 个。

  • 更新存储配置格式。

2020 年 2 月 11 日发布

  • 支持跨数据库$lookup查询。

  • 支持小写和大写文件扩展名。

  • 模板段现在支持与嵌套字段相对应的点分隔属性名称。

2020 年 1 月 21 日发布

  • 允许指定不带前导点的defaultFormat 。

  • 支持基于条带化筛选 ORC 格式文件。

  • 允许在第一阶段之后提取查询属性。

2019 年发布

2019 年 12 月 10 日发布

  • 包括多项性能和稳定性改进。

  • 支持以下内容的分区定义：

    • epoch_secs，这是自 Unix 纪元以来的秒数

    • epoch_millis，这是自 Unix 纪元以来的毫秒数

    • UUID，这是二进制子类型 4

2019 年 11 月 11 日发布

  • 包括多项性能和稳定性改进。

  • 新增对读取 Apache ORC 文件的支持。

2019 年 10 月 29 日发布

2019 年 10 月 8 日发布

  • 如果查询生成的文档大于 16 MiB，则返回错误。

  • $indexStats阶段现在会生成空索引列表，而不是错误。

  • 支持 JSON 中的$out到 S 3存储格式。

  • $match 现在会隐式将所有术语视为连词。

  • 不再解析空文件。

  • 修复导致{$match: {$expr: {$and: []}}}表达式终止连接的问题。

2019 年 9 月 17 日发布

2019 年 8 月 21 日发布

  • 添加对getLastError数据库命令的支持。

  • 修复了 Avro 中处理联合类型的错误。

  • 支持从$out聚合管道阶段到 S 3 。

  • listIndexes 现在总是返回一个空列表。

  • 将点分隔的 CSV 和 TSV 键转换为子文档。

  • 存储配置错误消息现在包含文档链接。

  • 支持 XLSX 文件格式。

  • 在查询执行错误消息中包含相关 ID。

  • 达到游标存储限制时，向客户端返回错误。

  • 如果超出游标存储限制，则在最后一个getMore向客户端返回错误。

2019 年 7 月 30 日

2019 年 7 月 8 日

2019 年 6 月 18 日

设置和查询 Data Federation 的初始公共预览版。

后退

Atlas

来年

变更日志