데이터 아카이브

클러스터 요구 사항

Atlas Online Archive 는 M10 이상의 cluster에서만 사용 가능합니다.

필수 권한

Online Archive를 생성하거나 삭제하려면 다음 역할 중 한 가지가 있어야 합니다.

• Project Data Access Admin 역할

• Project Cluster Manager 역할

• Project Owner 역할

Atlas가 데이터를 보관하는 방법

데이터를 보관하려면

1. Atlas는 보관 때마다 Archive의 네임스페이스에서 쿼리를 실행하여 보관 기준과 일치하는 문서를 찾습니다. Atlas는 특정 아카이브의 네임스페이스에 대한 이 쿼리를 작업이라고 합니다.

   기본적으로 Atlas는 5분마다 작업을 실행합니다. 보관할 문서의 크기가 임곗값을 충족하지 않으면 Atlas가 작업 간격을 5분씩 최대 4시간까지 확장합니다. 작업 간격이 최댓값에 도달하거나 보관할 문서의 크기가 임곗값에 도달하면 Atlas가 작업을 다시 실행하고 작업 간격을 5분으로 재설정합니다. 임곗값은 작업당 2GB입니다.

   Atlas는 cluster의 모든 작업에서 작업을 시작할 수 있습니다. 그러나 작업은 삭제 작업을 수행해야 할 수 있으므로 항상 프라이머리 멤버에 연결됩니다.

   작업을 실행하려는 기간을 지정하면 보관할 데이터가 5 MiB 이상인 한 Atlas가 해당 기간 동안 작업을 계속 실행합니다. 자세한 내용은 제한 사항 을 참조하세요. 실행 중인 작업이 이 기간 동안 완료되지 않는 경우, Atlas는 완료될 때까지 작업을 계속 실행합니다. 세 번의 연속 보관 기간 동안 모든 보관 작업이 보관할 문서의 크기 또는 수에 대한 최대 임계값에 도달하는 경우 빈도를 늘리는 것이 좋습니다.

   Atlas는 인덱스 충분성 쿼리를 실행하여 보관 프로세스의 효율성을 측정합니다. 반환된 문서 수에 맞춰 스캔된 문서의 수가 10개 이상안 경우 쿼리 결과는 Index Sufficiency Warning(을)를 트리거합니다. 이러한 경고는 효율적인 보관 프로세스에 필요한 인덱스가 부족함을 나타냅니다. 날짜 기반 보관의 경우 날짜 필드를 인덱싱해야 합니다. 표현식을 사용하는 사용자 지정 기준의 경우 Atlas가 먼저 값을 변환한 후 쿼리와 비교하여 값을 평가할 수 있습니다.

2. 보관 기준과 일치하는 문서의 경우 Atlas는 다음 작업을 수행합니다.

   1. 데이터 보관 작업 1건당 최대 10,000개의 파티션에 기록합니다.

   2. 쿼리 필드 값의 각 고유 조합(날짜 제외)에 대해 클라우드 객체 스토리지의 파티션에 최대 2GB의 문서 데이터를 기록합니다. 쿼리 필드 값은 실행 때마다 그룹화되어 파티션 수를 줄여 줍니다.

   3. 쿼리를 실행할 때마다 문서 데이터의 각 후속 용량(최대 2GB)을 기록합니다.

온라인 아카이브는 Atlas 클러스터에서 실행되며 동일한 기본 리소스(예: IOPS)를 사용합니다. 작업당 기본 한도가 2GB이므로 작업에서 지나치게 많은 리소스를 사용할 수 없습니다. 클러스터가 현재 리소스 한도 내에서 워크로드를 충족하고 있는 경우, Online Archive를 활성화하여 클러스터의 용량을 초과하도록 푸시할 수 있습니다. Online Archive를 활성화하기 전에 Atlas 클러스터에 여분의 리소스가 있는지 확인하세요.

Online Archive를 활성화하면 다음 리전 중 1곳을 선택하여 보관된 데이터를 저장할 수 있습니다.

Atlas는 데이터를 보관하는 경우 먼저 데이터를 cloud 객체 저장으로 복사한 다음, Atlas cluster에서 해당 데이터를 삭제합니다. 보관 중에 잠시 동안 Atlas cluster 및 Online Archive에 문서 복제본이 표시될 수 있습니다. 하지만 보관이 끝난 후 Online Archive 상태가 idle이(가) 될 경우 이미 보관된 문서는 Atlas 클러스터에 표시되지 않습니다.

WiredTiger 는 성능상의 이유로 삭제된 데이터의 저장 블록을 OS로 다시 릴리스하지 않습니다. 그러나 Atlas는 결국 이러한 저장 블록을 새 데이터에 자동으로 재사용합니다. 이렇게 하면 Atlas cluster가 조각화를 방지하는 데 도움이 됩니다. 자세한 내용 은 WiredTiger에서 디스크 공간을 확보하는 방법을 참조하세요.

온라인 아카이브는 읽기 전용입니다. Atlas는 보관된 데이터를 업데이트하지 않습니다. 일정 기간이 지나면 보관된 데이터의 삭제를 구성할 수 있습니다. 보관된 데이터를 삭제하려면 온라인 아카이브를 생성하거나 수정할 때 온라인 아카이브에 대한 Deletion Age Limit 설정을 구성하세요. Atlas는 데이터가 보관된 후 일관성이 유지되도록 온라인 아카이브를 Atlas 클러스터와 동기화하지 않습니다.

Atlas는 통합 엔드포인트를 제공합니다. 이 기능을 사용하면 실시간 클러스터의 모든 데이터베이스 및 컬렉션에 대해, 그리고 Atlas 클러스터에서 사용하는 것과 동일한 데이터베이스 및 컬렉션 이름을 사용해서 보관된 데이터에 대해 쿼리를 실행할 수 있습니다. Network Peering Connection(네트워크 피어링 연결)을 통해 통합 엔드포인트를 사용할 수는 없지만, 비공개 엔드포인트 설정을 실행하거나 TLS를 통한 표준 인터넷 연결을 사용할 수는 있습니다.

제한 사항

Online Archive는 다음을 지원하지 않습니다:

• Online Archive에 글쓰기

• Atlas 콘솔, Atlas Data Federation CLI 또는 Atlas Data Federation API를 통해 Online Archive 연합 데이터베이스 인스턴스를 구성 하거나 관리합니다.

• 고정 사이즈 컬렉션 보관

• 7일 후 용량이 5MB 미만인 데이터를 보관합니다. 자세한 내용은 제한 사항을 참조하세요.

• GridFS

Online Archive 보기

온라인 아카이브용 연합 데이터베이스 인스턴스를 확인하려면 다음을 수행합니다.

1. Atlas 콘솔에 로그인하세요.

2. Project 페이지의 왼쪽 탐색에서 Data Federation을 클릭합니다.

온라인 아카이브 쿼리하기

Online Archiv 데이터를 쿼리하려면 Online Archive 또는 엽합 데이터베이스 인스턴스 Connect 버튼을 통해 연결 문자열을 사용하여 연합 데이터베이스 인스턴스에 연결합니다.

SQL을 사용하여 온라인 Online Archive를 쿼리할 수도 있습니다. 자세히 보려면 Atlas SQL을 사용한 리를 참조합니다.

온라인 아카이브를 위한 쿼리 제한 관리하기

보관된 데이터의 쿼리에 대해 처리되는 데이터 용량의 한도를 설정하여 온라인 아카이브의 데이터 처리 비용을 조절할 수 있습니다. 처리된 데이터의 용량이 설정된 해당 한도에 도달하면 Atlas가 새 쿼리를 실행하지 않고, 한도에 도달했다는 내용의 오류를 클라이언트 애플리케이션으로 반환합니다. 이 한도를 초과하는 쿼리가 종료되도록 쿼리 종료를 선택적으로 구성할 수도 있습니다. 자세히 알아보려면 Atlas Data Federation 쿼리 제한 관리를 참조하세요.

Online Archive 편집

Atlas에서 Online Archive를 생성하면 보관 기준을 Date Match 에서 Custom Filter 혹은 그 반대로 변경할 수 없습니다.

Online Archive 삭제

모든 Online Archive를 삭제하면 Atlas가 연합 데이터베이스 인스턴스를 삭제합니다. Online Archive를 모두 삭제하고 나서 설정이 삭제된 Online Archive와 동일한 Online Archive를 생성할 경우, Atlas는 새 Online Archive에 맞는 새 연합 데이터베이스 인스턴스를 생성합니다.