Archive Data
項目一覧
Overview
Atlas ではアクセス頻度の低いデータは、Atlas クラスターからクラウド オブジェクト ストレージにある MongoDB が管理する読み取り専用のフェデレーティッドデータベースインスタンスに移動されます。Atlas でデータがアーカイブされると、読み取り専用のフェデレーティッドデータベースインスタンスから Atlas のデータと Online Archive のデータが一元的に表示されるようになります。
Atlas では、アーカイブ ルールでユーザーが指定した基準に基づいてデータがアーカイブされます。 この基準は次のとおり、アーカイブするコレクションのタイプによって異なります。
標準コレクションの場合、基準は以下のいずれかになります。
データをアーカイブする日付フィールドと、Atlas クラスターにデータを保存する日数の組み合わせ。指定された日付フィールドの値を現在の日付が超えた場合、Atlas は現在の時刻から日数を差し引き、その時刻以降のデータをアーカイブします。
カスタムクエリ。Atlas はアーカイブ ルールで指定されたクエリを実行して、アーカイブするドキュメントを選択します。
時系列コレクションの場合、基準は時間フィールドと Atlas クラスターにデータを保持する日数の組み合わせです。指定された時間フィールドの値を現在の時刻が超えると、Atlas は現在の時刻からその日数を減算し、その日数、時間数、および分数の後にデータをアーカイブします。
クラスターで Online Archive を構成すると、Atlas に 2 つのフェデレーテッドデータベースインスタンスが作成されます。
アーカイブ用フェデレーティッドデータベースインスタンス。アーカイブのデータのみクエリできます。
クラスターとアーカイブ用フェデレーティッドデータベースインスタンス。クラスターとアーカイブの両方のデータをクエリできます。
クラスターの要件
Atlas Online Archive は、M10 以上のクラスターでのみ利用できます。
必要な権限
Atlas Online Archive を作成または削除するには、次のいずれかのロールが必要です。
Atlas でのデータのアーカイブ方法
データをアーカイブするには、次の手順に従います。
Atlas はアーカイブごとにアーカイブの名前空間でクエリを実行して、アーカイブの基準に一致するドキュメントを識別します。Atlas は特定のアーカイブの名前空間でこのクエリをジョブとして参照します。
デフォルトでは、Atlas は 5 分ごとにジョブを実行します。アーカイブするドキュメントのサイズがしきい値を満たさない場合、Atlas は最大 4 時間まで、ジョブ間隔を 5 分ずつ延長します。ジョブ間隔が最大値に達した場合、またはアーカイブするドキュメントのサイズがしきい値に達した場合、Atlas はジョブを再度実行し、ジョブ間隔を 5 分にリセットします。しきい値はジョブあたり 2GB です。
Atlas ではクラスター内のどのノードからもジョブが開始される可能性があります。ただし、ジョブで削除操作の実行が必要になる場合があるため、常にプライマリ ノードに接続します。
ジョブを実行する時間枠を指定した場合、アーカイブするデータが 5 MiB 以上ある限り、Atlas はその時間枠内でジョブを継続的に実行します。詳しくは、「制限」を参照してください。実行中のジョブが時間枠内に完了しない場合、Atlas そのジョブが完了するまで実行を続けます。3 回連続でアーカイブ処理中に、アーカイブ ジョブがアーカイブ対象のドキュメントのサイズまたは数の最大しきい値に達した場合は、頻度を増やすことをお勧めします。
Atlas はインデックスの十分性クエリを実行して、アーカイブ処理の効率を判断します。返されたドキュメント数に対するスキャンされたドキュメント数の比率が 10 以上の場合、そのクエリ結果で
Index Sufficiency Warningを発行します。この警告は、効率的なアーカイブ プロセスに対してインデックスが不十分であることを示しています。日付ベースのアーカイブの場合は、日付フィールドにインデックスを付与する必要があります。式を使用するカスタム基準の場合、Atlas はクエリに対して値を評価する前に、値を変換することがあります。Atlas はアーカイブ基準に一致するドキュメントで以下を実行します。
データ アーカイブ ジョブごとに最大 10,000 個のパーティションに書込みます。
クエリ フィールド値の固有の組み合わせごとに、クラウド オブジェクト ストレージのパーティションに最大 2 GB のドキュメントデータを書込みます。ただし、日付はパーティションの数を減らすために実行の都度グループ化されます。
クエリの実行ごとに、ドキュメント データの後続部分の量（最大 2 GB）を書込みます。
注意
アーカイブ ジョブの完了に必要な時間は、クラスター リソースなど、さまざまな要因に応じて異なります。次のアーカイブジョブは、現在のジョブが完了した後にのみ実行されます。
Atlas Online Archive は Atlas クラスター上で実行され、 IOPSなどの同じ基礎のリソースを使用します。 ジョブあたり 2 GB のデフォルトの制限は、操作が過度にリソースを使用することを防ぎます。 クラスターが現在、リソース制限の上限付近でワークロードを満たしている場合は、Atlas Online Archive をアクティブ化することでクラスターのキャパシティーを上回ることができます。 Atlas Online Archive をアクティブ化する前に、Atlas クラスターに余剰リソースがあることを確認してください。
Atlas Online Archive を有効にすると、アーカイブされたデータを保存するリージョンを次のいずれかから選択できます。
Atlas Data Federation のリージョン | AWS リージョン |
|---|---|
Virginia, USA | us-east-1 |
米国ワシントン州 | us-west-2 |
サンパウロ（ブラジル） | sa-east-1 |
アイルランド | eu-west-1 |
英国（ソウル） | eu-west-2 |
フランクフルト（ドイツ） | eu-central-1 |
Tokyo, Japan | ap-northeast-1 |
ムバイ（インド） | ap-outth-1 |
香港 | ap-sautheast-1 |
オーストラリア、シドニー | ap-sautheast-2 |
モントリオール（カナダ） | ca-central-1 |
重要
Atlas はアーカイブ データ用の Amazon のサーバーサイド暗号化 S3 マネージド キー（SSE-S3） を使用してアーカイブ データを暗号化します。クラスター データで使用した保管時の暗号化の暗号化キーは使用できません。
Atlas Data Federation のリージョン | Azureリージョン |
|---|---|
Virginia, USA | US_EAST_2 |
オランダ語 | EUROPE_WEST |
重要
Atlas は Azure Storage のサービスサイド 暗号化 を使用してアーカイブ データを暗号化します。クラスター データで使用した保管時の暗号化の暗号化キーは使用できません。
Atlas Data Federation のリージョン | Google Cloud Platformリージョン |
|---|---|
ベルギー | europe-west1 |
Iowa, USA | us-central1 |
重要
Google Cloud Platformは StorageAtlas のサービスサイド 暗号化 を使用してアーカイブ データを暗号化します。 。Atlasデータで使用した保管時の暗号化の暗号化キーは使用できません。
データをアーカイブすると、Atlas はまず、クラウド オブジェクト ストレージにデータをコピーしたうえで Atlas クラスターからデータを削除します。アーカイブ中、Atlas クラスターと Online Archive に表示されるドキュメントが短時間重複することがありますが、アーカイブ後に Atlas Online Archive の状態が idle になると、アーカイブ済みのドキュメントは Atlas クラスターからなくなります。
WiredTiger では、パフォーマンス上の理由により、OS に戻される削除済みデータのストレージ ブロックはリリースされません。ただし、Atlas ではこれらのストレージ ブロックは最終的に新しいデータで自動的に再利用され、Atlas クラスターでの断片化回避に役立ちます。詳細については、「WiredTiger でディスク領域を再利用するにはどうすればよいですか？」を参照してください。
Atlas Online Archive は読み取り専用です。Atlas はアーカイブ データを更新しません。ユーザーは一定期間後にアーカイブ データが削除されるように構成できます。アーカイブ データを消去するには、Atlas Online Archive を作成または変更するときに、Online Archive のDeletion Age Limit 設定を構成します。データがアーカイブされた後の整合性を維持するため、Atlas で Atlas Online Archive が Atlas クラスターと同期されることはありません。
Atlas は、統合エンドポイントを提供します。このエンドポイントを使用すると、Atlas クラスターで使用しているものと同じデータベース名とコレクション名を使用して、本番環境クラスターのすべてのデータベースとコレクション、およびアーカイブ データをクエリできます。統合エンドポイントをネットワークピアリング接続経由で使用することはできませんが、プライベートエンドポイントを設定するか、TLS 経由の標準インターネット接続を使用できます。
注意
Atlas Online Archive を構成しても、バックアップ ポリシーが不要になるわけではありません。要件を満たすバックアップ ポリシーを構成することをお勧めします。バックアップ ポリシーの構成の詳細については、「クラスターのバックアップ」を参照してください。
Atlas Data Federation for Online Archive
M10 以上の Atlas クラスターを Online Archive 用に構成すると、アーカイブ済みデータ用に読み取り専用のフェデレーティッドデータベースインスタンスがクラスターあたり 1 つずつ作成されます。
制限
Atlas Online Archive は以下の機能をサポートしていません。
Atlas Online Archive の表示
Atlas Online Archive のフェデレーティッドデータベースインスタンスを表示するには、以下の手順に従います。
Atlasで、プロジェクトのフェデレーティッドデータベースインスタンスにGoします。
まだ表示されていない場合は、プロジェクトを含む組織をナビゲーション バーの Organizations メニューで選択します。
まだ表示されていない場合は、ナビゲーション バーの Projects メニューからプロジェクトを選択します。
サイドバーで、 Services見出しの下のData Federationをクリックします。
Data Federationページが表示されます。
Atlas Online Archive でのクエリの実行
Online Archive のデータをクエリするには、Online Archive またはフェデレーティッドデータベースインスタンスの [Connect] ボタンから接続文字列を使用して、フェデレーティッドデータベースインスタンスに接続します。
SQL を使用した Atlas Online Archive データのクエリも可能です。詳細については、「Atlas SQL によるクエリ」を参照してください。
Atlas Online Archive でのクエリ制限の管理
アーカイブ済みデータのクエリで処理されるデータ量に制限を設定して、Atlas Online Archive のデータ処理コストを抑制できます。データの処理量が設定した該当制限値に達すると、Atlas は新しいクエリを実行せず、制限に達したというエラーをクライアント アプリケーションに返します。ユーザーは任意に、制限を超えるとクエリが終了するように設定することもできます。詳細については、「Atlas Data Federation のクエリ制限の管理」を参照してください。
Atlas Online Archive の編集
Atlas で Online Archive が作成された後は、アーカイブ基準は Date Matchから Custom Filter へあるいはその逆方向へ変更できません。
Atlas Online Archive の削除
Online Archive をすべて削除すると、Atlas でフェデレーティッドデータベースインスタンスが削除されます。Online Archive をすべて削除した後で、削除したものと同じ設定で 新しい Online Archive を作成すると、Atlas に新しい Online Archive 用のフェデレーティッドデータベースインスタンスが作成されます。
Atlas Online Archive のコスト
Atlas Online Archive にアクセス頻度の低いデータを保存すると、Atlas クラスターのデータ ストレージ コストが削減します。ただし、転送やクエリのデータ量にコストが発生します。詳細については、「Atlas Online Archive のコスト」を参照してください。
Atlas Online Archive の管理
Atlas コンソールと API を使用して、クラスター上のコレクションに対する Atlas Online Archive を構成できます。Atlas Online Archive を作成すると、次のことができます。