适用于仅插入工作负载的分布式本地写入

在此页面上

Scenario

步骤

MongoDB标签感知分片允许管理员定义分片分片键的范围并将其标记到一个或多个分片，从而控制分片分片集群中的数据分布。

本教程使用区域以及多数据中心分片集群部署和应用程序端逻辑来支持分布式本地写入，以及副本集选举或数据中心故障时的高写入可用性。

通过对空集合或不存在的集合进行分片之前定义区域和区域范围，分片集合操作会为定义的区域范围创建数据块以及任何其他数据块，以覆盖分片键值的整个范围，并执行基于区域范围的初始数据块分配。数据块的初始创建和分布可以更快地设置区域分片。在初始分布之后，负载均衡器将管理未来的数据段分布。

有关示例，请参阅为空集合或不存在的集合预先定义区域和区域范围。

重要

本教程中讨论的概念需要特定的部署架构和应用程序级逻辑。

这些概念需要熟悉 MongoDB分片集群、副本集和区域的一般行为。

本教程假定仅插入或插入密集型工作负载。本教程中讨论的概念和策略不太适合需要快速读取或更新的使用案例。

Scenario

考虑一个插入密集型应用程序，与写入相比，读取频率较低且优先级较低。应用程序将文档写入到一个分片collection，并需要数据库近乎恒定的正常运行时间来支持其 SLA 或 SLO。

下图是应用程序写入数据库的文档格式的部分视图：

{
   "_id" : ObjectId("56f08c447fe58b2e96f595fa"),
   "message_id" : 329620,
   "datacenter" : "alfa",
   "userid" : 123,
   ...
}
{
   "_id" : ObjectId("56f08c447fe58b2e96f595fb"),
   "message_id" : 578494,
   "datacenter" : "bravo",
   "userid" : 456,
   ...
}
{
   "_id" : ObjectId("56f08c447fe58b2e96f595fc"),
   "message_id" : 689979,
   "datacenter" : "bravo",
   "userid" : 789,
   ...
}

片键

该collection使用{ datacenter : 1, userid : 1 }复合索引作为片键。

每个文档中的datacenter字段允许在每个不同的数据中心值上创建标签范围。如果没有datacenter字段，就无法将文档与特定数据中心关联起来。

userid 字段为分片键提供相对于 datacenter 的高关联基数和低频分量。

有关选择分片键的更多一般说明，请参阅选择分片键。

架构

该部署由两个数据中心alfa和bravo组成。有两个分片： shard0000和shard0001 。每个分片都是一个具有三个成员的副本集。 shard0000在alfa上有两个节点，在bravo上有一个优先级为 0的节点。 shard0001在bravo上有两个成员，在alfa上有一个优先级为 0 的成员。

标记

此应用程序需要为每个数据中心配备一个标签。根据包含大多数副本集成员的数据中心，为每个分片分配一个标签。有两个标签范围，每个数据中心一个。

alfa 数据中心

将此数据中心上拥有多数成员的分片标记为alfa 。

创建标签范围：

{ "datacenter" : "alfa", "userid" : MinKey }的下限，
{ "datacenter" : "alfa", "userid" : MaxKey }的上限，以及
标签 alfa

bravo 数据中心

将此数据中心上拥有多数成员的分片标记为bravo 。

创建标签范围：

{ "datacenter" : "bravo", "userid" : MinKey }的下限，
{ "datacenter" : "bravo", "userid" : MaxKey }的上限，以及
标签 bravo

注意

MinKey 和 MaxKey 特殊值保留用于比较

根据配置的标签和标签范围， mongos将带有datacenter : alfa的文档路由到alfa数据中心，并将带有datacenter : bravo的文档路由到bravo数据中心。

写入操作

如果插入或更新的文档与配置的标签范围匹配，则只能将其写入具有相关标签的分片。

MongoDB 可以将与配置的标签范围不匹配的文档写入集群中的任何分片。

注意

上述行为要求集群处于稳定状态，没有违反配置标签范围的数据段。有关更多信息，请参阅以下有关负载均衡器的部分。

平衡器

负载均衡器将带标签的数据块迁移到相应的分片。在迁移之前，分片可能包含违反已配置标签范围和标签的数据段。均衡完成后，分片应仅包含范围不违反分配的标签和标签范围的数据块。

添加或删除标签或标签范围可能会导致数据块迁移。根据数据集的大小和标签范围影响的数据段数量，这些迁移可能会影响集群性能。考虑在特定的计划窗口运行负载均衡器。有关如何设置安排窗口的教程，请参阅安排窗口。

应用程序行为

默认情况下，应用程序会写入最近的数据中心。如果本地数据中心当机，或者在设定的时间段内未确认对该数据中心的写入，则应用程序会在尝试将文档写入数据库之前，通过更改datacenter字段的值来切换到其他可用的数据中心。

应用程序支持写入超时。应用程序使用写关注（write concern）为每个写入操作设置超时。

如果应用程序遇到写入或超时错误，它会修改每个文档中的datacenter字段并执行写入。这会将文档路由到其他数据中心。如果两个数据中心均已关闭，则写入无法成功。请参阅解决写入失败问题。

该应用程序会定期检查与标记为“关闭”的任何数据中心的连接。如果连接恢复，则应用程序可以继续执行正常的写入操作。

考虑到切换逻辑以及用于处理数据中心之间客户端流量的任何负载均衡器或类似机制，应用程序无法预测给定文档将写入两个数据中心中的哪一个。为了确保在读取操作中不错过任何文档，应用程序必须执行广播查询，在任何查询中都不包含datacenter字段。

应用程序使用读取偏好（read preference）nearest执行读取，以减少延迟。

尽管报告了超时错误，但写入操作仍有可能成功。应用程序通过尝试将文档重新写入其他数据中心来响应错误，这可能会导致文档在两个数据中心之间重复。应用程序将解决重复项作为读取逻辑的一部分。

切换逻辑

如果一个或多个写入失败，或者写入未在设定的时间段内得到确认，则应用程序具有切换数据中心的逻辑。应用程序根据目标数据中心的标签修改datacenter字段，将文档定向到该数据中心。

例如，尝试写入alfa数据中心的应用程序可能会遵循以下一般过程：

尝试写入文档，并指定datacenter : alfa 。
写入超时或出错时，将alfa记录为暂时关闭。
尝试写入同一文档，同时修改datacenter : bravo 。
写入超时或出错时，将bravo记录为暂时关闭。
如果alfa和bravo均已关闭，则记录并报告错误。

请参阅解决写入失败问题。

步骤

配置分片标签

mongos您必须连接到与目标分片集群关联的才能继续。您无法通过直接连接到分片副本集成员来创建标签。

标记每个分片。

使用alfa标签标记alfa数据中心中的每个分片。

sh.addShardTag("shard0000", "alfa")

使用bravo标签标记bravo数据中心中的每个分片。

sh.addShardTag("shard0001", "bravo")

您可以通过运行sh.status()查看分配给任何给定分片的标签。

为每个标签定义范围。

定义alfa数据库的范围，并使用sh.addTagRange()方法将其与alfa标签关联。此方法需要：

目标集合的完整命名空间。
范围的下限（包含在内）。
范围的独占上限。
标签的名称。

sh.addTagRange( 
  "<database>.<collection>",
  { "datacenter" : "alfa", "userid" : MinKey },
  { "datacenter" : "alfa", "userid" : MaxKey }, 
  "alfa"
)

定义bravo数据库的范围，并使用sh.addTagRange()方法将其与bravo标签关联。此方法需要：

目标集合的完整命名空间。
范围的下限（包含在内）。
范围的独占上限。
标签的名称。

sh.addTagRange( 
  "<database>.<collection>",
  { "datacenter" : "bravo", "userid" : MinKey },
  { "datacenter" : "bravo", "userid" : MaxKey }, 
  "bravo"
)

MinKey和MaxKey值是保留用于比较的特殊值。 MinKey在比较时始终小于所有其他可能的值，而MaxKey在比较时始终大于所有其他可能的值。配置的范围捕获每个datacenter的每个用户。

查看更改。

下次负载均衡器运行时，它会根据配置的区域跨分片迁移数据。

均衡完成后，标记为alfa的分片应仅包含具有datacenter : alfa的文档，而标记为bravo的分片应仅包含具有datacenter : bravo的文档。

您可以通过运行sh.status()查看数据段分布。

解决写入失败问题

当应用程序的默认数据中心关闭或无法访问时，应用程序会将datacenter字段更改为其他数据中心。

例如，默认情况下，应用程序会尝试将以下文档写入alfa数据中心：

{
   "_id" : ObjectId("56f08c447fe58b2e96f595fa"),
   "message_id" : 329620,
   "datacenter" : "alfa",
   "userid" : 123,
   ...
}

如果应用程序在尝试写入时收到错误，或者写入确认用时过长，则会将该数据中心记录为不可用，并将字段datacenter更改为指向bravo数据中心。

{
   "_id" : ObjectId("56f08c457fe58b2e96f595fb"),
   "message_id" : 329620,
   "datacenter" : "bravo",
   "userid" : 123,
   ...
}

应用程序会定期检查alfa数据中心的连接性。如果可以再次访问数据中心，则应用程序可以恢复正常写入。

注意

对datacenter : alfa的原始写入可能已成功，尤其是当错误与超时有关时。如果是这样，则带有message_id : 329620的文档现在可以在两个数据中心之间复制。应用程序必须将解决重复项作为读取操作的一部分。

解决读取时的重复文档问题

应用程序的切换逻辑允许潜在的文档重复。执行读取时，应用程序会解析应用程序层上的所有重复文档。

以下查询搜索userid为123的文档。请注意，虽然userid是分片键的一部分，但该查询不包含datacenter字段，因此不会执行定向读取操作。

db.collection.find( { "userid" : 123 } )

结果显示， message_id为329620的文档已被插入 MongoDB 两次，这可能是由于延迟写入确认造成的。

{
  "_id" : ObjectId("56f08c447fe58b2e96f595fa"),
  "message_id" : 329620
  "datacenter" : "alfa",
  "userid" : 123,
  data : {...}
}
{
  "_id" : ObjectId("56f08c457fe58b2e96f595fb"),
  "message_id" : 329620
  "datacenter" : "bravo",
  "userid" : 123,
  ...
}

应用程序可以忽略重复项，获取两个文档中的一个，也可以尝试修剪重复项，直到只剩下一个文档。

删除重复项的一种方法是使用ObjectId.getTimestamp()方法从_id字段中提取时间戳。然后，应用程序可以保留插入的第一个文档或最后一个插入的文档。假设_id字段使用 MongoDB ObjectId() 。

例如，在包含ObjectId("56f08c447fe58b2e96f595fa")的文档上使用getTimestamp() } 会返回：

ISODate("2016-03-22T00:05:24Z")

在包含ObjectId("56f08c457fe58b2e96f595fb")的文档上使用getTimestamp() } 会返回：

ISODate("2016-03-22T00:05:25Z")

后退

按应用程序或客户数细分

来年

分发集合