MongoDB 8.0发布说明

8.0.3 - 2024 年 10 月 24 日

修复的问题：

• SERVER-96419 不正确的空字节中和可能会导致MongoDB Server中的缓冲区过度读取

• 所有 Jira 问题均已在 8.0.3 中关闭

• 8.0.3 变更日志

8.0.1 - 2024 年 10 月 9 日

修复的问题：

• SERVER-76883 减少外部用户的“角色不存在”日志的冗长信息

• SERVER-82221 ListCollections 和 ListIndexes 应包含待提交的命名空间

• SERVER-94635 使会话刷新参数可配置

• SERVER-95244 9146500当客户端直接连接到分片时，导致插入的 upsert 语句可能会失败，并显示分片

• WT-13409 __txn_checkpoint 中的一个 ret 未处理

• 所有 Jira 问题均已在 8.0.1 中关闭

• 8.0.1 变更日志

8.0.0 - 2024 年 10 月 2 日

本页的其余部分介绍了MongoDB 8.0中引入的更改和新功能。

数据库分析器

为数据库分析器指定过滤器时，可以根据新的 workingMillis 指标记录操作。可以根据 workingMillis 和 durationMillis 记录操作，并将每个指标设置为不同的阈值。

BinData 转换

从 MongoDB 8.0 开始，可以使用 $convert 操作符执行以下转换：

• 字符串值转换为 binData 值

• binData 值转换为字符串值

MongoDB 8.0还包括一个新的辅助表达式$toUUID ，它提供了将字符串转换为 UUID值的简化语法。

$queryStats

从MongoDB 7.1开始， $queryStats阶段会返回已记录查询的统计信息。

$rank 和 $denseRank 行为

从 MongoDB 8.0 开始，当计算排名时，null 与 $denseRank 和 $rank sortBy 操作中的缺失字段值将被同等对待。这一更改将使 denseRank 和 rank 的行为与 $sort 一致。

可查询加密范围查询

从 MongoDB 8.0 开始，可查询加密支持使用 $lt、$lte、$gt 和 $gte 操作符对加密字段执行范围查询。有关详细信息，请参阅可查询加密支持的操作。要允许对加密字段执行范围查询，请参阅创建加密模式。

日志消息的 OCSF 模式

从 MongoDB 8.0 开始，可以为审核日志消息指定 OCSF 模式。OCSF 模式以与日志处理器兼容的标准化格式提供日志。

要设置用于日志消息的模式，请使用 auditLog.schema 配置文件选项。

有关 OCSF 格式的日志消息的示例，请参阅 OCSF 模式审核消息。

入口队列

MongoDB 8.0引入了用于入口准入控制的新队列。 等待从网络进入数据库的操作会进入入口队列。 默认，队列是不受限制的，这意味着MongoDB允许所有操作通过此阶段执行，而无需任何排队。 将队列最大值设置为特定值可让您在当前操作数量达到指定限制时在此阶段对操作进行排队。

移动集合

从 MongoDB 8.0 开始，可以使用 moveCollection 命令将未分片集合移到不同的分片中。

有关详细信息，请参阅可移动集合。 要开始使用，请参阅移动集合。

对集合取消分片

从MongoDB 8.0开始，您可以使用unshardCollection命令或sh.unshardCollection()方法对现有分分片的集合取消分片。 此操作将集合中的所有文档移动到指定的分分片或分片量最少的分片上。

有关详细信息，请参阅未分片集合。 要开始使用，请参阅对集合取消分片。

配置分片

从MongoDB 8.0开始，您可以配置配置服务器来存储除通常的分分片集群元数据数据之外的应用程序数据。 同时提供配置服务器和分片服务器功能的mongod节点称为配置分片。 作为不带分分片服务器功能的独立运行--configsvr运行的mongod节点称为专用配置服务器。

要将专用配置服务器配置为作为配置分片运行，请运行transitionFromDedicatedConfigServer命令。

要将配置分片配置为作为专用配置服务器分片，请运行transitionToDedicatedConfigServer命令。

有关详细信息，请参阅配置分片。要开始使用，请参阅使用配置分片启动分片集群。要将副本集转换为具有配置分片片的分片分片集群，请参阅使用嵌入式配置服务器将副本集转换为分片集群。

新的数据库命令

• abortMoveCollection

• abortUnshardCollection

• moveCollection

• transitionFromDedicatedConfigServer

• transitionToDedicatedConfigServer

• unshardCollection

新的 mongosh 方法

• sh.abortMoveCollection()

• sh.abortUnshardCollection()

• sh.moveCollection()

• sh.shardAndDistributeCollection()

• sh.unshardCollection()

serverStatus 指标

从MongoDB 8.0开始， serverStatus在其输出中包含以下新的shardingStatistics字段：

• shardingStatistics.countTransitionToDedicatedConfigServerStarted

• shardingStatistics.countTransitionToDedicatedConfigServerCompleted

• shardingStatistics.countTransitionFromDedicatedConfigServerCompleted

• shardingStatistics.configServerInShardCache

MongoDB 7.1包含以下针对数据数据块迁移的新分片统计信息：

• shardingStatistics.countDonorMoveChunkCommitted

• shardingStatistics.countDonorMoveChunkAborted

• shardingStatistics.totalDonorMoveChunkTimeMillis

• shardingStatistics.countBytesClonedOnRecipient

• shardingStatistics.countDocsClonedOnCatchUpOnRecipient

• shardingStatistics.countBytesClonedOnCatchUpOnRecipient

每个分片的默认数据段

从 MongoDB 7.2 开始，当您使用哈希分片键对collection进行分片时，该操作默认为每个分片创建一个数据块。Previously, the operation created two chunks by default.

directShardOperations 角色

从MongoDB 8.0开始，您可以使用directShardOperations角色执行需要直接对分片执行命令的分片操作。

为分片集群启用排出游标

从MongoDB7.1 开始，当客户端的mongos getMore 请求设置 exhaustAllowed 标志时， 支持耗尽游标。当客户端收到数据库服务器针对单个请求的多个回复时，这可以提高分分片的集群上的查询性能。

mongos端口范围

从MongoDB 7.1开始， mongos接受来自 [ 0 , 65535 ] 的--port值。 有关更多信息，请参阅--port 。

使用部分分片键进行查询

从 MongoDB 7.1开始， findAndModify和deleteOne()可以使用部分分片键来查询分片集合。

重新分片改进

MongoDB 7.2 在reshard collection操作中引入了显着的性能改进，从而大幅减少了操作的运行时间。

此外，如果您的应用程序和集群满足必要的要求和限制，则可以使用reshardCollection命令对同一键上的collection重新分片，从而重新分发您的collection，这比备用范围迁移过程要快得多。

命令中添加了以下选项：

有关示例，请参阅将数据重新分发到新分片。

分片集群的自管理备份

从 MongoDB 7.1开始， fsync和fsyncUnlock命令可以对分片集群执行 fsync 操作。

当在mongos上运行且lock字段设立为true时， fsync命令会将写入操作从存储层刷新到磁盘并锁定每个分分片，从而阻止其他写入操作。 然后可以使用fsyncUnlock命令解锁集群。

此功能支持使用mongodump进行分分片的集群的自我管理备份。

分片集合上的更新或插入（upsert）或插入行为

从MongoDB 7.1开始，在分分片的集合上使用updateOne()和upsert: true时，您不需要在过滤中包含完整的分分片键。

具有分片集合的事务中的 $lookup 阶段

从 MongoDB 8.0 开始，可以在事务内使用 $lookup 阶段，并以分片集合为目标。

多数写关注

从MongoDB 8.0开始，当大多数副本集成员已写入更改的oplog条目时，使用"majority"写关注（write concern）的写入操作会返回确认。 这提高了"majority"写入的性能。 在以前的版本中，这些操作将等待，并在大多数副本集成员应用更改后返回确认。

如果您的应用程序在收到来自{ w: "majority" }写入操作的确认后立即从从从节点(secondary node from replica set)读取（没有因果一致的会话），则查询返回的结果可能不包括写入更改。

新的 replSetGetStatus 指标

从 MongoDB 8.0 开始，使用 replSetGetStatus 命令时可以使用以下指标：

• replSetGetStatus.electionCandidateMetrics.lastSeenWrittenOpTimeAtElection

• replSetGetStatus.electionParticipantMetrics.lastWrittenOpTimeAtElection

• replSetGetStatus.electionParticipantMetrics.maxWrittenOpTimeInSet

• replSetGetStatus.members[n].optimeWritten

• replSetGetStatus.members[n].optimeWrittenDate

• replSetGetStatus.members[n].lastWrittenWallTime

• replSetGetStatus.optimeWritten

• replSetGetStatus.optimeWrittenDate

• replSetGetStatus.optimes.lastWrittenWallTime

• replSetGetStatus.optimes.writtenOpTime

oplog缓冲区

从MongoDB 8.0开始，从节点并行为每个批处理写入和应用oplog条目。 写入器线程从主节点 (primary node in the replica set)节点读取新条目并将其写入本地oplog。 应用程序线程将这些更改异步应用到本地数据库。 此更改增加了从节点的复制吞吐量。

这为metrics.repl.buffer引入了一项破坏性变更 (breaking change)，因为它现在提供了两个缓冲区（而不是一个）的指标。

MongoDB 8.0弃用了以下服务器状态指标：

• metrics.repl.buffer.count

• metrics.repl.buffer.maxSizeBytes

• metrics.repl.buffer.sizeBytes

MongoDB 8.0添加了以下服务器状态指标：

• metrics.repl.buffer.apply

• metrics.repl.buffer.apply.count

• metrics.repl.buffer.apply.maxCount

• metrics.repl.buffer.apply.maxSizeBytes

• metrics.repl.buffer.apply.sizeBytes

• metrics.repl.buffer.write

• metrics.repl.buffer.write.count

• metrics.repl.buffer.write.maxSizeBytes

• metrics.repl.buffer.write.sizeBytes

• metrics.repl.write

• metrics.repl.write.batchSize

• metrics.repl.write.batches

• metrics.repl.write.batches.num

• metrics.repl.write.batches.totalMillis

serverStatus 指标

从MongoDB 8.0开始，以下新的serverStatus指标报告有关tcmalloc使用情况的信息：

• tcmalloc.usingPerCPUCaches

• tcmalloc.generic.peak_memory_usage

• tcmalloc.tcmalloc.cpu_free

• tcmalloc.tcmalloc.total_bytes_held

• tcmalloc.tcmalloc.cpuCache

• tcmalloc.tcmalloc.cpuCache.N.overflows

• tcmalloc.tcmalloc.cpuCache.N.underflows

• tcmalloc.tcmalloc_derived.total_free_bytes

关闭性能

从 MongoDB 8.0 开始，Bulk.insert() 和数据提取工作负载可能表现得更好。不过，在运行这些工作负载之后立即关闭 MongoDB 可能需要更长的时间，因为在将额外的数据刷新到磁盘上。

将应用程序数据存储在配置分片上

从 MongoDB 8.0 开始，除了常用分片集群元数据以外，还可以配置一个配置服务器，以存储应用程序数据。此配置服务器被称为配置分片。有关详细信息，请参阅配置分片。

压缩改进

从 MongoDB 7.3开始， compact命令包含一个新的freeSpaceTargetMB选项，用于指定可恢复的最小存储空间量（以兆字节为单位）才能继续压缩。

并发 DDL 操作

从MongoDB 7.1开始，当您运行针对同一数据库中不同集合的多个DDL 操作时， MongoDB会并发运行这些操作。

此更改向serverStatus locks字段和currentOp.locks输出添加了两种新类型：

• DDLDatabase

• DDLCollection

mongos聚合查询的数据库验证

从 MongoDB 7.2 开始，尝试在mongos部署上使用不存在的数据库的聚合管道查询会返回验证错误。

在以前的版本中，这些聚合查询返回空游标。

DDL 操作

在 MongoDB 8.0 中，如果在集群执行 DDL 操作（修改集合的操作，例如 reshardCollection）时添加或删除分片，将只在完成并发 DDL 操作之后执行任何添加或删除分片的操作。

超过管道大小限制的错误代码

从 MongoDB 7.1开始，当管道超过管道阶段限制时，聚合命令将引发错误。 有关更多详细信息，请参阅阶段数限制。

getField 字段支持所有字符串

从 MongoDB 7.2 开始，您可以为$getField操作符的field输入指定解析为字符串的任何有效表达式。 在早期版本中， field仅接受字符串常量。

改进索引构建

从 MongoDB 7.1 开始，索引构建得到了改进，报告速度更快，韧性更强。您还可以使用新的indexBuildMinAvailableDiskSpaceMB参数设置索引构建所需的最小可用磁盘空间，如果磁盘空间太低，该参数会停止索引构建。

添加了以下新的索引构建指标：

• indexBuilds.killedDueToInsufficientDiskSpace

• indexBuilds.failedDueToDataCorruption

有关完整详细信息，请参阅索引构建。

新增参数

新的批量写入命令

从 MongoDB 8.0 开始，可以使用新的 bulkWrite 命令在一个请求中对多个集合执行很多插入、更新和删除操作。现有的 db.collection.bulkWrite() 方法只允许在一个请求中修改一个集合。

新的查询结构和查询设置

MongoDB 8.0 引入了一个新的查询结构。预先存在的查询结构已重命名为计划缓存查询结构。

从 MongoDB 8.0 开始，可以为新的查询结构添加查询设置。在查询规划期间，查询优化器使用查询设置作为附加输入，这样会影响为运行具有匹配的查询结构的查询而选择的计划。

与索引过滤器相比，查询设置具有经过改进的功能。从 MongoDB 8.0 开始，还弃用了索引过滤器，因此应避免使用它们。

• 要添加查询设置，请使用setQuerySettings命令。

• 要删除查询设置，请使用removeQuerySettings命令。

• 要检索查询设置，请在一个聚合管道中使用一个 $querySettings 阶段。

• 要阻止查询结构，请参阅操作拒绝过滤器。

从MongoDB 8.0开始， queryShapeHash包含在以下输出中：

• explain{ 字段中的 命令explain.queryShapeHash

• 字段中的system.profile.queryShapeHash 数据库分析器

• 字段中的$currentOp.queryShapeHash $currentOp聚合管道阶段

• 慢查询日志

从 MongoDB 8.0 开始，预先存在的 queryHash 字段被重命名为 planCacheShapeHash。如果正在使用早期版本的 MongoDB，您将看到 queryHash 而不是 planCacheShapeHash。

参数过滤

从 MongoDB 8.0 开始，getParameter 命令接受 setAt 字段。可以使用此字段过滤 allParameters: true 返回文档，以便只显示可以在启动或运行时设置的那些参数。

针对固定大小集合的读关注

从 MongoDB 8.0 开始，可以在固定大小集合上使用读关注 "snapshot"。

serverStatus 输出变更

从MongoDB 7.1开始， serverStatus命令输出包括以下新指标：

• changeStreamPreImages.expireAfterSeconds

• metrics.changeStreams.showExpandedEvents

• queryStats

从MongoDB 7.2开始， serverStatus命令输出包括以下新指标：

• metrics.operation.killedDueToMaxTimeMSExpired

• readPreferenceCounters

从MongoDB 7.3开始， serverStatus命令输出包括以下新指标：

• metrics.repl.stateTransition.totalOperationsRunning

• metrics.repl.stateTransition.totalOperationsKilled

• metrics.repl.waiters.replication

• metrics.repl.waiters.opTime

• planCache.classic.skipped

• planCache.sbe.skipped

从MongoDB 8.0开始， serverStatus命令输出包括以下新指标：

• opWorkingTime

• opWorkingTime.commands

• opWorkingTime.reads

• opWorkingTime.writes

• opWorkingTime.transactions

面向 updateOne 的排序支持

从 MongoDB 8.0 开始，updateOne() 方法支持 sort 选项。此选项将控制 MongoDB 在选择文档以接收更新之前如何对文档进行排序。

以前的版本使用 findAndModify() 和 findOneAndUpdate() 方法，按照用户指定的排序顺序更新第一个文档。对可重试写入的支持要求这些方法将整个文档复制到每个节点的特殊侧方集合中，这是一个比具有新的 sort 选项的 updateOne() 方法更昂贵的操作。

为不同命令指定查询索引提示

从MongoDB 7.1开始， distinct命令中提供hint字段，允许您指定查询的索引。

TTL Indexes

从 MongoDB7.1 开始，您可以在固定大小 集合 上创建 TTL 索引 。

查询规划和执行

批量多文档插入操作

从 MongoDB 8.0 开始，多文档事务的插入操作不再生成单独的 oplog 条目。相反，系统会将多文档插入操作作为单个条目进行批处理。每个文档的变更流 insert 事件具有相同的 clusterTime。

这一更改提高了多文档插入操作的性能，并消除了多次 oplog 写入操作可能产生的复制延迟。

OIDC 身份提供程序可以共享一个发布者

从 MongoDB 8.0 开始，当定义了多个身份提供程序 (IDP) 时，只要 audience 值对于每个发布者都是唯一的，oidcIdentityProviders 参数就会接受重复的 issuer 值。在版本 7.3 和 7.0 中，也可以使用此功能。

子管道中的命名空间

从MongoDB 8.0开始，对$lookup和$unionWith内部子管道中的命名空间进行验证，以确保正确使用from和coll字段。

有关详细信息，请参阅$lookup 子管道和$unionWith 子管道。

查询规划器优化时间

explain()方法现在会返回有关查询规划器优化时间的信息。queryPlanner.optimizationTimeMillis状态显示查询规划器在优化上花费的时间（以毫秒为单位）。