$merge

Atlas Data Federation에서 중복 ID 확인

Atlas Data Federation은 중복을 해결하기 위해 다음을 수행합니다.

1. 문서를 받는 순서대로 중복이 발견될 때까지 문서를 받는 순서대로 Atlas 컬렉션 X에 문서를 씁니다.

2. 중복된 _id 필드가 있는 문서와 모든 후속 문서를 새 Atlas 컬렉션 Y에 씁니다.

3. 지정된 $merge 단계를 실행하여 컬렉션 Y를 컬렉션 X에 병합합니다.

4. 결과 문서를 지정된 Atlas 클러스터의 대상 컬렉션에 씁니다.

중복 ID 수정하기

다음을 수행하여 중복된 _id 필드를 수정할 수 있습니다.

1. 파이프라인에 $sort 단계를 포함하여 Atlas Data Federation이 결과 문서를 처리해야 하는 순서를 지정합니다.

2. $merge 단계로 유입되는 문서의 순서에 따라 $merge 단계의 whenMatched 및 whenNotMatched 옵션 값을 신중하게 선택합니다.

   예시

   다음 예시에서는 whenMatched 옵션이 keepExisting 또는 replace로 설정된 경우 Atlas Data Federation이 $merge 단계에서 중복을 해결하는 방법을 보여 줍니다. 이 예시에서는 다음 문서를 사용합니다.

   {
     "_id" : 1,
     "state" : "FL"
   },
   {
     "_id" : 1,
     "state" : "NJ"
   },
   {
     "_id" : 2,
     "state" : "TX"
   }

   keepExisting

   갈다

   위에 나열된 문서에 대해 다음 파이프라인을 실행한다고 가정해 보겠습니다.

   db.s3coll.aggregate([
     {
       "$sort": {
         "_id": 1,
         "state": 1,
       }
     },
     {
       "$merge": {
         "into": {
           "atlas": {
             "clusterName": "clustername",
             "db": "clusterdb",
             "coll": "clustercoll"
           }
         },
         "on": "_id",
         "whenMatched": "keepExisting",
         "whenNotMatched": "insert"
       }
     }
   ])

   Atlas Data Federation은 X 및 Y라는 두 컬렉션에 다음 데이터를 씁니다.

   컬렉션 X

   Collection Y

   {
     "_id" : 1,
     "state" : "FL"
   }

   {
     "_id" : 1,
     "state" : "NJ"
   },
   {
     "_id" : 2,
     "state" : "TX"
   }

   그런 다음 Atlas Data Federation은 Y 컬렉션의 문서를 X 컬렉션으로 병합합니다. 파이프라인의 whenMatched: keepExisting 옵션의 경우, Atlas Data Federation은 컬렉션 X에 _id: 1이(가) 있는 기존 문서를 유지합니다. 따라서 중복 항목이 있는 파이프라인의 결과에는 다음 문서가 포함됩니다.

   {
     "_id" : 1,
     "state" : "FL"
   },
   {
     "_id" : 2,
     "state" : "TX"
   }

   그런 다음 Atlas Data Federation은 이러한 문서를 지정된 Atlas 클러스터의 대상 컬렉션에 병합합니다.

   위에 나열된 문서에 대해 다음 파이프라인을 실행한다고 가정해 보겠습니다.

   db.s3coll.aggregate([
     {
       "$sort": {
         "_id": 1,
         "state": 1,
       }
     },
     {
       "$merge": {
         "into": {
           "atlas": {
             "clusterName": "clustername",
             "db": "clusterdb",
             "coll": "clustercoll"
           }
         },
         "on": "_id",
         "whenMatched": "replace",
         "whenNotMatched": "insert"
       }
     }
   ])

   Atlas Data Federation은 X 및 Y라는 두 컬렉션에 다음 데이터를 씁니다.

   컬렉션 X

   Collection Y

   {
     "_id" : 1,
     "state" : "FL"
   }

   {
     "_id" : 1,
     "state" : "NJ"
   },
   {
     "_id" : 2,
     "state" : "TX"
   }

   Atlas Data Federation은 Y 컬렉션의 문서를 X 컬렉션으로 병합합니다. 파이프라인의 whenMatched: replace 옵션의 경우 Atlas Data Federation은 컬렉션 X의 _id: 1 문서를 컬렉션 Y의 _id: 1이 있는 문서로 대체합니다. 따라서 중복 항목이 있는 파이프라인의 결과에는 다음 문서가 포함됩니다.

   {
     "_id" : 1,
     "state" : "NJ"
   },
   {
     "_id" : 2,
     "state" : "TX"
   }

   그런 다음 Atlas Data Federation은 이러한 문서를 지정된 Atlas 클러스터의 대상 컬렉션에 병합합니다.

3. whenNotMatched: discard 옵션은 사용하지 않는 것이 좋습니다.

   예시

   이 예시에서는 다음 문서를 사용하여 whenNotMatched 옵션이 discard로 설정된 경우 Atlas Data Federation이 중복을 해결하는 방법을 보여 줍니다.

   {
     "_id" : 1,
     "state" : "AZ"
   },
   {
     "_id" : 1,
     "state" : "CA"
   },
   {
     "_id" : 2,
     "state" : "NJ"
   },
   {
     "_id" : 3,
     "state" : "NY"
   },
   {
     "_id" : 4,
     "state" : "TX"
   }

   위에 나열된 문서에 대해 다음 파이프라인을 실행한다고 가정해 보겠습니다.

   db.archivecoll.aggregate([
     {
       "$sort": {
         "_id": 1,
         "state": 1,
       }
     },
     {
       "$merge": {
         "into": {
           "atlas": {
             "clusterName": "clustername",
             "db": "clusterdb",
             "coll": "clustercoll"
           }
         },
         "on": "_id",
         "whenMatched": "replace",
         "whenNotMatched": "discard"
       }
     }
   ])

   Atlas Data Federation은 X 및 Y라는 두 컬렉션에 다음 데이터를 씁니다.

   컬렉션 X

   Collection Y

   {
     "_id" : 1,
     "state" : "AZ" // gets replaced
   }

   {
     "_id" : 1,
     "state" : "CA"
   }
   {
     "_id" : 2,
     "state" : "NJ" // gets discarded
   }
   {
     "_id" : 3,
     "state" : "NY" // gets discarded
   }
   {
     "_id" : 4,
     "state" : "TX" // gets discarded
   }

   Atlas Data Federation은 Y 컬렉션의 문서를 X 컬렉션으로 병합합니다. 파이프라인의 whenMatched: replace 옵션의 경우 Atlas Data Federation은 컬렉션 X의 _id: 1 문서를 컬렉션 Y의 _id: 1이 있는 문서로 대체합니다. 파이프라인의 whenNotMatched: discard 옵션의 경우 Atlas Data Federation은 컬렉션 X의 문서와 일치하지 않는 컬렉션 Y의 문서를 삭제합니다. 따라서 중복 항목이 있는 파이프라인의 결과에는 다음 문서가 포함됩니다.

   {
     "_id" : 1,
     "state" : "CA"
   }

   그런 다음 Atlas Data Federation은 이 문서를 지정된 Atlas 클러스터의 대상 컬렉션에 병합합니다.

(으)로 데이터 병합 $merge

다음 예시 $merge 구문은 이름이 myTestCluster 인 Atlas cluster 의 sampleDB.mySampleData 컬렉션 에 결과를 씁니다. 이 예시 에서는 프로젝트 ID 를 지정하지 않습니다. $merge 단계에서는 연합 데이터베이스 인스턴스 가 포함된 프로젝트 의 ID 를 사용합니다.

1
db.mySampleData.aggregate(
2
  [
3
    {
4
      "$merge": {
5
        "into": {
6
          "atlas": {
7
            "clusterName": "myTestCluster",
8
            "db": "sampleDB",
9
            "coll": "mySampleData"
10
          }
11
        },
12
        ...
13
      }
14
    }
15
  ]
16
)

배경 에서 $merge 실행

다음 예시 $merge 구문은 배경 에서 이름이 myTestCluster 인 Atlas cluster 의 sampleDB.mySampleData 컬렉션 에 결과를 씁니다. 이 예시 에서는 프로젝트 ID 를 지정하지 않습니다. $merge 단계에서는 연합 데이터베이스 인스턴스 가 포함된 프로젝트 의 ID 를 사용합니다.

1
db.mySampleData.aggregate(
2
  [
3
    {
4
      "$merge": {
5
        "into": {
6
          "atlas": {
7
            "clusterName": "myTestCluster",
8
            "db": "sampleDB",
9
            "coll": "mySampleData"
10
          }
11
        },
12
        ...
13
      }
14
    }
15
  ],
16
  { "background" : true }
17
)