对集合重新分片

关于此任务

• 一次只能对一个集合重新分片。

• writeConcernMajorityJournalDefault必须为true 。

• 要对具有唯一性约束的集合重新分片，新分片键必须满足任何现有唯一索引的唯一索引要求。

• 在重新分片操作正在进行时，正在重新分片的集合不支持以下命令和相应的 shell 方法：

  • collMod

  • convertToCapped

  • createIndexes

  • createIndex()

  • drop

  • drop()

  • dropIndexes

  • dropIndex()

  • renameCollection

  • renameCollection()

• 重新分片操作正在进行时，集群上不支持以下命令和方法：

  • addShard

  • removeShard

  • db.createCollection()

  • dropDatabase

  警告

  在重新分片操作期间使用上述任何命令都会导致重新分片操作失败。

• 如果要重新分片的集合使用 Atlas Search ，则在重新分片操作完成后，搜索索引将变为不可用。 重新分片操作完成后，您需要手动重建搜索索引。

开始之前

在对集合重新分片之前，请确保满足以下要求：

• 您的应用程序可以允许正在重新分片的集合在两秒钟内阻止写入。在写入受阻期间，应用程序的延迟会增加。如果您的工作负载无法允许此要求，请考虑改为改进分片键。

• 您的数据库符合这些资源要求：

  • 可用存储空间：确保集合将分布到的每个分片上的可用存储空间至少是要重新分片的集合大小及其总索引大小的两倍，再除以分片数量。

    storage_req = ( ( collection_size + index_size ) * 2 ) / shard_count

    例如，假设一个集合包含2 TB 数据，并具有分布在四个分片上的400 GB 索引。 要对此集合执行重新分片操作，每个分片都需要1.2 TB 的可用存储空间。

    1.2 TB storage = ( ( 2 TB collection + 0.4 TB index ) * 2 ) / 4 shards

    为了满足存储要求，您可能需要在重新分片操作期间升级到下一个存储层。 操作完成后，您可以缩减规模。

  • I/O：确保 I/O 容量低于 50%。

  • CPU 负载：确保 CPU 负载低于 80%。

  重要

  数据库不会强制执行这些要求。未能分配足够的资源可能会导致：

  • 数据库空间不足并关闭

  • 性能下降

  • 重新分片操作花费的时间比预期要长

  如果您的应用程序存在流量较少的时间段，请尽可能在该时间段内对集合重新分片。

• 您必须重写应用程序的查询，才能同时使用当前分分片键和新的分分片键。

  提示

  如果您的应用程序可以容忍停机，则可以执行以下步骤来避免重写应用程序的查询，从而同时使用当前分片键和新的分分片键：

  1. 停止您的应用程序。

  2. 重写应用程序以使用新的分分片键。

  3. 等待重新分片完成。 要监控重新分片进程，请使用$currentOp管道阶段。

  4. 部署重写的应用程序。

  在重新分片完成之前，如果查询过滤不包含当前分分片键或唯一字段（如_id ），以下查询将返回错误：

  • deleteOne()

  • findAndModify()

  • findOneAndDelete()

  • findOneAndReplace()

  • findOneAndUpdate()

  • replaceOne()

  • updateOne()

  为了获得最佳性能，我们还建议您重写其他查询以包含新分片键。

  重新分片操作完成后，您可以从查询中删除旧分片键。

• 没有正在运行的索引构建。使用 db.currentOp() 检查是否有任何正在运行的索引构建：

   db.adminCommand(
      {
        currentOp: true,
        $or: [
          { op: "command", "command.createIndexes": { $exists: true }  },
          { op: "none", "msg" : /^Index Build/ }
        ]
      }
  )

  在结果文档中，如果 inprog 字段值为空数组，则表示没有正在运行的索引构建：

  {
     inprog: [],
     ok: 1,
     '$clusterTime': { ... },
     operationTime: <timestamp>
  }

步骤

在集合重新分片操作中，分片可以是：

• 发送分片，它目前存储分片集合的数据段。

• 接收分片，它根据分片键和区域存储分片集合的新数据段。

分片可以同时是发送分片和接收分片。除非您使用区域，否则发送分片集与接收分片相同。

配置服务器主节点始终是重新分片协调器，并启动重新分片操作的每个阶段。

db.adminCommand({
  reshardCollection: "<database>.<collection>",
  key: <shardkey>
})

db.getSiblingDB("admin").aggregate([
  { $currentOp: { allUsers: true, localOps: false } },
  {
    $match: {
      type: "op",
      "originatingCommand.reshardCollection": "<database>.<collection>"
    }
  }
])

[
  {
    shard: '<shard>',
    type: 'op',
    desc: 'ReshardingRecipientService | ReshardingDonorService | ReshardingCoordinatorService <reshardingUUID>',
    op: 'command',
    ns: '<database>.<collection>',
    originatingCommand: {
      reshardCollection: '<database>.<collection>',
      key: <shardkey>,
      unique: <boolean>,
      collation: { locale: 'simple' }
    },
    totalOperationTimeElapsedSecs: <number>,
    remainingOperationTimeEstimatedSecs: <number>,
    ...
  },
  ...
]

{
  ok: 1,
  '$clusterTime': {
    clusterTime: <timestamp>,
    signature: {
      hash: Binary(Buffer.from("0000000000000000000000000000000000000000", "hex"), 0),
      keyId: <number>
    }
  },
  operationTime: <timestamp>
}

sh.status()

databases
[
  {
     database: {
     _id: '<database>',
     primary: '<shard>',
     partitioned: true,
     version: {
       uuid: <uuid>,
       timestamp: <timestamp>,
       lastMod: <number>
     }
   },
   collections: {
     '<database>.<collection>': {
       shardKey: <shardkey>,
       unique: <boolean>,
       balancing: <boolean>,
       chunks: [],
       tags: []
     }
   }
  }
  ...
]

db.adminCommand({
  commitReshardCollection: "<database>.<collection>"
})

db.adminCommand({
  abortReshardCollection: "<database>.<collection>"
})

行为

错误案例

db.runCommand({
  cleanupReshardCollection: "<database>.<collection>"
})