Archive Data
이 페이지의 내용
개요
Atlas는 자주 액세스하지 않는 데이터를 Atlas 클러스터에서 클라우드 객체 스토리지의 MongoDB 관리 읽기 전용 연합 데이터베이스 인스턴스로 이동합니다. Atlas에 데이터가 보관되면 읽기 전용 연합 데이터베이스 인스턴스를 통해 Atlas 및 Online Archive 데이터를 병합된 형태로 볼 수 있습니다.
Atlas는 보관 규칙에서 지정한 기준에 따라 데이터를 보관합니다. 기준은 보관할 컬렉션의 유형에 따라 다음과 같이 달라집니다.
표준 컬렉션의 경우 기준은 다음 중 1가지일 수 있습니다.
데이터 보관에 관한 날짜 필드와 Atlas 클러스터에 데이터를 보관할 일수의 조합. 현재 날짜가 지정된 날짜 필드의 값을 초과하면 Atlas가 현재 기간에서 해당 일수를 뺀 다음, 남은 기간 이후의 데이터를 보관합니다.
사용자 지정 쿼리. Atlas는 보관 규칙에 입력된 쿼리를 실행하여 보관할 문서를 선택합니다.
time series 컬렉션의 경우 시간 필드와 Atlas 클러스터에 데이터를 보관할 일수의 조합이 기준입니다. 현재 시간이 지정된 시간 필드의 값을 초과하면 Atlas는 현재 시간에서 일수를 뺀 다음 해당 일, 시간 및 분 이후의 데이터를 보관합니다.
클러스터에 Online Archive를 구성하면 Atlas가 연합 데이터베이스 인스턴스 2개를 생성합니다.
보관용 연합 데이터베이스 인스턴스를 사용하면 원하는 Archive의 데이터만 쿼리할 수 있습니다.
클러스터용/보관용 연합 데이터베이스 인스턴스를 사용하면 클러스터 및 보관된 데이터 모두 쿼리할 수 있습니다.
클러스터 요구 사항
Atlas Online Archive 는 M10 이상의 cluster에서만 사용 가능합니다.
필수 권한
Online Archive를 생성하거나 삭제하려면 다음 역할 중 한 가지가 있어야 합니다.
Atlas가 데이터를 보관하는 방법
데이터를 보관하려면
Atlas는 보관 때마다 Archive의 네임스페이스에서 쿼리를 실행하여 보관 기준과 일치하는 문서를 찾습니다. Atlas는 특정 아카이브의 네임스페이스에 대한 이 쿼리를 작업이라고 합니다.
기본적으로 Atlas는 5분마다 작업을 실행합니다. 보관할 문서의 크기가 임계값을 충족하지 않으면 Atlas가 작업 간격을 5분씩 최대 4시간까지 확장합니다. 작업 간격이 최댓값에 도달하거나 보관할 문서의 크기가 임계값에 도달하면 Atlas가 작업을 다시 실행하고 작업 간격을 5분으로 재설정합니다. 임계값은 작업당 2GB입니다.
Atlas는 클러스터의 모든 노드에서 작업을 시작할 수 있습니다. 그러나 작업에서 삭제 작업을 수행해야 할 수도 있으므로 항상 프라이머리 멤버에 연결합니다.
작업을 실행하려는 기간을 지정하면 아카이브할 데이터가 5 MiB 이상인 한 Atlas는 해당 기간 동안 작업을 계속 실행합니다. 자세한 내용은 제한 사항을 참조하세요. 실행 중인 작업이 이 기간 동안 완료되지 않을 경우, Atlas는 완료될 때까지 해당 작업을 계속 실행합니다. 보관 중인 작업이 3개의 연속 보관 기간 동안 보관할 문서의 크기 또는 개수 중 하나에 대한 최대 임계값에 도달할 경우에는 빈도를 늘리는 것이 좋습니다.
Atlas는 인덱스 충분성 쿼리를 실행하여 보관 프로세스의 효율성을 측정합니다. 반환된 문서 수에 맞춰 스캔된 문서의 수가 10개 이상안 경우 쿼리 결과는
Index Sufficiency Warning(을)를 트리거합니다. 이러한 경고는 효율적인 보관 프로세스에 필요한 인덱스가 부족함을 나타냅니다. 날짜 기반 보관의 경우 날짜 필드를 인덱싱해야 합니다. 표현식을 사용하는 사용자 지정 기준의 경우 Atlas가 먼저 값을 변환한 후 쿼리와 비교하여 값을 평가할 수 있습니다.보관 기준과 일치하는 문서의 경우 Atlas는 다음 작업을 수행합니다.
데이터 보관 작업 1건당 최대 10,000개의 파티션에 기록합니다.
쿼리 필드 값의 각 고유 조합(날짜 제외)에 대해 클라우드 객체 스토리지의 파티션에 최대 2GB의 문서 데이터를 기록합니다. 쿼리 필드 값은 실행 때마다 그룹화되어 파티션 수를 줄여 줍니다.
쿼리를 실행할 때마다 문서 데이터의 각 후속 용량(최대 2GB)을 기록합니다.
참고
보관 작업을 완료하는 데 걸리는 시간은 클러스터 리소스를 비롯한 여러 요인에 따라 달라집니다. 다음 보관 작업은 현재 작업이 완료된 후에만 실행됩니다.
온라인 아카이브는 Atlas 클러스터에서 실행되며 동일한 기본 리소스(예: IOPS)를 사용합니다. 작업당 기본 한도가 2GB이므로 작업에서 지나치게 많은 리소스를 사용할 수 없습니다. 클러스터가 현재 리소스 한도 내에서 워크로드를 충족하고 있는 경우, Online Archive를 활성화하여 클러스터의 용량을 초과하도록 푸시할 수 있습니다. Online Archive를 활성화하기 전에 Atlas 클러스터에 여분의 리소스가 있는지 확인하세요.
Online Archive를 활성화하면 다음 리전 중 1곳을 선택하여 보관된 데이터를 저장할 수 있습니다.
Data Federation 리전 | AWS 리전 |
|---|---|
Virginia, USA | 미국 동부 1(us-east-1) |
미국 오리건주 | us-west-2 |
브라질 상파울루 | sa-east-1 |
아일랜드 | eu-west-1 |
영국 런던 | eu-west-2 |
독일 프랑크푸르트 | eu-central-1 |
Tokyo, Japan | ap-northeast-1 |
인도 뭄바이 | ap-south-1 |
싱가포르 | 아시아 태평양 남동부 1(AP-SOUTH-EAST-1) |
호주 시드니 | 아시아 태평양 남동부 2(AP-SOUTH-EAST-2) |
캐나다 몬트리올 | ca-central-1 |
중요
Atlas는 Amazon의 서버 측 암호화 S3관리 키(SSE-S3)를 사용하여 보관된 데이터를 암호화합니다. Atlas는 클러스터 데이터에 사용한 미사용 데이터 암호화 키를 사용할 수 없습니다.
Data Federation 리전 | Azure 리전 |
|---|---|
Virginia, USA |
|
네덜란드 |
|
중요
Atlas는 Azure 스토리지 서비스 측 암호화를 사용하여 보관된 데이터를 암호화합니다. Atlas는 클러스터 데이터에 사용한 미사용 데이터 암호화 암호화 키를 사용할 수 없습니다.
Data Federation 리전 | Google Cloud 리전 |
|---|---|
벨기에 |
|
Iowa, USA |
|
중요
Atlas는 Google Cloud Storage 서비스 측 암호화를 사용하여 보관된 데이터를 암호화합니다. . Atlas는 클러스터 데이터에 사용한 미사용 데이터 암호화 암호화 키를 사용할 수 없습니다.
Atlas는 데이터를 보관하는 경우 먼저 데이터를 클라우드 객체 저장으로 복사한 다음, Atlas 클러스터에서 해당 데이터를 삭제합니다. 보관 중에 잠시 동안 Atlas 클러스터 및 Online Archive에 문서 복제본이 표시될 수 있습니다. 하지만 보관이 끝난 후 Online Archive 상태가 idle이(가) 될 경우 이미 보관된 문서는 Atlas 클러스터에 표시되지 않습니다.
WiredTiger에서는 성능상의 이유로 삭제된 데이터의 스토리지 블록을 OS로 다시 릴리스하지 않습니다. 하지만 Atlas는 후에 이 저장 블록을 새 데이터에 자동으로 재사용합니다. 이렇게 하면 Atlas 클러스터의 조각화를 방지할 수 있습니다. 자세한 내용은 WiredTiger에서 디스크 공간을 확보하는 방법을 참조하세요.
온라인 아카이브는 읽기 전용입니다. Atlas는 보관된 데이터를 업데이트하지 않습니다. 일정 기간이 지나면 보관된 데이터의 삭제를 구성할 수 있습니다. 보관된 데이터를 삭제하려면 온라인 아카이브를 생성하거나 수정할 때 온라인 아카이브에 대한 Deletion Age Limit 설정을 구성하세요. Atlas는 데이터가 보관된 후 일관성이 유지되도록 온라인 아카이브를 Atlas 클러스터와 동기화하지 않습니다.
Atlas는 통합 엔드포인트를 제공합니다. 이 기능을 사용하면 실시간 클러스터의 모든 데이터베이스 및 컬렉션에 대해, 그리고 Atlas 클러스터에서 사용하는 것과 동일한 데이터베이스 및 컬렉션 이름을 사용해서 보관된 데이터에 대해 쿼리를 실행할 수 있습니다. Network Peering Connection(네트워크 피어링 연결)을 통해 통합 엔드포인트를 사용할 수는 없지만, 비공개 엔드포인트 설정을 실행하거나 TLS를 통한 표준 인터넷 연결을 사용할 수는 있습니다.
참고
Online Archive를 구성한다고 해서 백업 정책의 필요성이 없어지는 것은 아닙니다. 요건에 부합하는 백업 정책을 구성하는 것이 좋습니다. 백업 정책 구성에 대한 자세한 내용은 클러스터 백업을 참조하세요.
온라인 아카이브를 위한 Atlas Data Federation
Online Archive에 대해 M10 이상의 Atlas 클러스터를 구성하면 Atlas는 보관된 데이터에 대해 cluster당 하나씩 읽기 전용 연합 데이터베이스 인스턴스를 생성합니다.
제한 사항
Online Archive는 다음을 지원하지 않습니다:
Online Archive 보기
온라인 아카이브용 연합 데이터베이스 인스턴스를 확인하려면 다음을 수행합니다.
Atlas에서 프로젝트의 연합 데이터베이스 인스턴스로 이동합니다.
아직 표시되지 않은 경우 탐색 표시줄의 Organizations 메뉴에서 프로젝트가 포함된 조직을 선택합니다.
아직 표시되지 않은 경우 내비게이션 바의 Projects 메뉴에서 프로젝트를 선택합니다.
사이드바에서 Services 제목 아래의 Data Federation를 클릭합니다.
Data Federation 페이지가 표시됩니다.
온라인 아카이브 쿼리하기
Online Archiv 데이터를 쿼리하려면 Online Archive 또는 엽합 데이터베이스 인스턴스 Connect 버튼을 통해 연결 문자열을 사용하여 연합 데이터베이스 인스턴스에 연결합니다.
SQL을 사용하여 온라인 Online Archive를 쿼리할 수도 있습니다. 자세히 보려면 Atlas SQL을 사용한 리를 참조합니다.
온라인 아카이브를 위한 쿼리 제한 관리하기
보관된 데이터의 쿼리에 대해 처리되는 데이터 용량의 한도를 설정하여 온라인 아카이브의 데이터 처리 비용을 조절할 수 있습니다. 처리된 데이터의 용량이 설정된 해당 한도에 도달하면 Atlas가 새 쿼리를 실행하지 않고, 한도에 도달했다는 내용의 오류를 클라이언트 애플리케이션으로 반환합니다. 이 한도를 초과하는 쿼리가 종료되도록 쿼리 종료를 선택적으로 구성할 수도 있습니다. 자세히 알아보려면 Atlas Data Federation 쿼리 제한 관리를 참조하세요.
Online Archive 편집
Atlas에서 Online Archive를 생성하면 보관 기준을 Date Match 에서 Custom Filter 혹은 그 반대로 변경할 수 없습니다.
Online Archive 삭제
모든 Online Archive를 삭제하면 Atlas가 연합 데이터베이스 인스턴스를 삭제합니다. Online Archive를 모두 삭제하고 나서 설정이 삭제된 Online Archive와 동일한 Online Archive를 생성할 경우, Atlas는 새 Online Archive에 맞는 새 연합 데이터베이스 인스턴스를 생성합니다.
온라인 아카이브 비용
온라인 아카이브는 자주 액세스하지 않는 데이터를 저장하여 Atlas 클러스터의 데이터 저장 비용을 낮춥니다. 다만 이때 비용은 전송하고 쿼리하는 데이터의 용량에 따라 발생합니다. 자세한 내용은 온라인 아카이브 비용을 참조하세요.
온라인 아카이브 관리하기
사용자는 Atlas 콘솔 및 API를 통해 클러스터에서 컬렉션에 대한 Online Archive를 구성할 수 있습니다. Online Archive가 생성되면 다음 작업을 할 수 있습니다.