컬렉션 리샤딩

이 작업에 대하여

• 한 번에 하나의 컬렉션만 리샤딩할 수 있습니다.

• writeConcernMajorityJournalDefault 은 이어야 true 합니다.

• 고유성 제약 조건이 있는 컬렉션을 리샤드하려면 새 샤드 키가 기존의 모든 고유 인덱스에 대한 고유 인덱스 요구 사항을 충족해야 합니다.

• 리샤딩 작업이 진행 중인 동안 리샤딩되는 컬렉션에서는 다음 명령 및 해당 셸 메서드가 지원되지 않습니다.

  • collMod

  • convertToCapped

  • createIndexes

  • createIndex()

  • drop

  • drop()

  • dropIndexes

  • dropIndex()

  • renameCollection

  • renameCollection()

• 다음 명령과 메서드는 리샤딩 작업이 진행되는 동안 클러스터에서 지원되지 않습니다.

  • addShard

  • removeShard

  • db.createCollection()

  • dropDatabase

  경고

  리샤딩 작업 중에 위의 명령 중 하나를 사용하면 리샤딩 작업이 실패합니다.

• 리샤딩할 컬렉션 이 Atlas Search 를 사용하는 경우 리샤딩 작업이 완료되면 검색 인덱스 를 사용할 수 없게 됩니다. 리샤딩 작업이 완료되면 검색 인덱스 를 수동으로 다시 작성해야 합니다.

• 샤딩된 시계열 컬렉션은 다시 샤딩할 수 없습니다.

시작하기 전에

컬렉션을 리샤딩하기 전에 다음 요구 사항을 충족하는지 확인하세요.

• 애플리케이션은 리샤딩되는 컬렉션이 쓰기를 차단하는 2초의 기간을 허용할 수 있습니다. 쓰기가 차단되는 기간 동안 애플리케이션의 대기 시간이 증가합니다. 워크로드가 이러한 요구 사항을 수용할 수 없는 경우에는 대신 샤드 키를 개선하는 것이 좋습니다.

• 데이터베이스는 다음과 같은 리소스 요구 사항을 충족합니다.

  • 사용 가능한 저장 공간: 컬렉션을 분산할 각 샤드의 사용 가능한 저장 공간이 리샤딩하려는 컬렉션 크기와 총 인덱스 크기를 샤드 수로 나눈 값의 두 배 이상인지 확인합니다.

    storage_req = ( ( collection_size + index_size ) * 2 ) / shard_count

    예를 들어 컬렉션에 2 TB의 데이터가 포함되어 있고 4개의 샤드에 400 GB 인덱스가 분산되어 있다고 가정해 보겠습니다. 이 컬렉션에서 리샤딩 작업을 수행하려면 각 샤드에 1.2 TB의 사용 가능한 스토리지.

    1.2 TB storage = ( ( 2 TB collection + 0.4 TB index ) * 2 ) / 4 shards

    스토리지 요구 사항을 충족하려면 리샤딩 작업 중에 다음 스토리지 계층으로 업그레이드해야 할 수 있습니다. 작업이 완료되면 축소할 수 있습니다.

  • I/O: I/O 용량이 50% 미만인지 확인합니다.

  • CPU 부하: CPU 부하가 80% 미만인지 확인합니다.

  중요

  이러한 요구 사항은 데이터베이스에 의해 적용되지 않습니다. 충분한 리소스를 할당하지 못하면 다음과 같은 결과가 발생할 수 있습니다.

  • 데이터베이스 공간이 부족하여 종료되는 경우

  • 성능 저하

  • 리샤딩 작업이 예상보다 오래 걸리는 경우

  애플리케이션에 트래픽이 적은 기간이 있는 경우 가능하면 해당 기간 동안 컬렉션을 리샤딩하세요.

• 현재 샤드 키 와 새 샤드 키 를 모두 사용하려면 애플리케이션의 쿼리를 다시 작성해야 합니다.

  팁

  애플리케이션 이 다운타임을 견딜 수 있는 경우 다음 단계를 수행하여 현재 샤드 키와 새 샤드 키를 모두 사용하도록 애플리케이션의 쿼리를 다시 작성하지 않도록 할 수 있습니다.

  1. 애플리케이션을 중지하세요.

  2. 새 샤드 키 를 사용하도록 애플리케이션 을 다시 작성합니다.

  3. 리샤딩이 완료될 때까지 기다립니다. 리샤딩 프로세스 를 모니터 하려면 $currentOp 파이프라인 단계를 사용합니다.

  4. 재작성된 애플리케이션 을 배포합니다.

  쿼리 필터하다 에 현재 샤드 키 고유 필드 (예: _id)가 포함되지 않은 경우 다음 쿼리는 리샤딩이 완료되기 전에 오류를 반환합니다.

  • deleteOne()

  • findAndModify()

  • findOneAndDelete()

  • findOneAndReplace()

  • findOneAndUpdate()

  • replaceOne()

  • updateOne()

  최적의 성능을 위해 새 샤드 키를 포함하도록 다른 쿼리도 다시 작성하는 것이 좋습니다.

  리샤딩 작업이 완료되면 쿼리에서 이전 샤드 키를 제거할 수 있습니다.

• 현재 진행 중인 인덱스 빌드가 없습니다. db.currentOp()을(를) 사용하여 실행 중인 인덱스 빌드를 확인합니다.

   db.adminCommand(
      {
        currentOp: true,
        $or: [
          { op: "command", "command.createIndexes": { $exists: true }  },
          { op: "none", "msg" : /^Index Build/ }
        ]
      }
  )

  결과 문서에서 inprog 필드 값이 빈 배열이면 진행 중인 인덱스 빌드는 없습니다.

  {
     inprog: [],
     ok: 1,
     '$clusterTime': { ... },
     operationTime: <timestamp>
  }

단계

컬렉션 리샤딩 작업에서 샤드는 다음과 같을 수 있습니다.

• 기증자는 현재 샤딩된 컬렉션의 청크를 저장합니다.

• 수신자는 샤드 키와 구역을 기반으로 샤드 컬렉션의 새 청크를 저장합니다.

샤드는 기증자와 수신자가 동시에 될 수 있습니다. 구역을 사용하지 않는 한 기증자 샤드 세트는 수신자 샤드와 동일합니다.

config 서버 프라이머리는 항상 리샤딩 코디네이터이며 리샤딩 작업의 각 단계를 시작합니다.

db.adminCommand({
  reshardCollection: "<database>.<collection>",
  key: <shardkey>
})

db.getSiblingDB("admin").aggregate([
  { $currentOp: { allUsers: true, localOps: false } },
  {
    $match: {
      type: "op",
      "originatingCommand.reshardCollection": "<database>.<collection>"
    }
  }
])

[
  {
    shard: '<shard>',
    type: 'op',
    desc: 'ReshardingRecipientService | ReshardingDonorService | ReshardingCoordinatorService <reshardingUUID>',
    op: 'command',
    ns: '<database>.<collection>',
    originatingCommand: {
      reshardCollection: '<database>.<collection>',
      key: <shardkey>,
      unique: <boolean>,
      collation: { locale: 'simple' }
    },
    totalOperationTimeElapsedSecs: <number>,
    remainingOperationTimeEstimatedSecs: <number>,
    ...
  },
  ...
]

{
  ok: 1,
  '$clusterTime': {
    clusterTime: <timestamp>,
    signature: {
      hash: Binary(Buffer.from("0000000000000000000000000000000000000000", "hex"), 0),
      keyId: <number>
    }
  },
  operationTime: <timestamp>
}

sh.status()

databases
[
  {
     database: {
     _id: '<database>',
     primary: '<shard>',
     partitioned: false,
     version: {
       uuid: <uuid>,
       timestamp: <timestamp>,
       lastMod: <number>
     }
   },
   collections: {
     '<database>.<collection>': {
       shardKey: <shardkey>,
       unique: <boolean>,
       balancing: <boolean>,
       chunks: [],
       tags: []
     }
   }
  }
  ...
]

db.adminCommand({
  commitReshardCollection: "<database>.<collection>"
})

db.adminCommand({
  abortReshardCollection: "<database>.<collection>"
})

행동

오류 사례