$out

1 GiB のデータを圧縮BSONファイルとしてmy-s3-bucketという名前のS 3バケットに書込み (write) したい。

次の$out構文を使用します。

1
{
2
  "$out": {
3
    "s3": {
4
      "bucket": "my-s3-bucket",
5
      "filename": "big_box_store/",
6
      "format": {
7
        "name": "bson.gz"
8
      }
9
    }
10
  }
11
}

s3.regionは省略されているため、Atlas Data Federation は、 my-s3-bucketという名前のバケットがホストされているリージョンをストレージ構成から決定します。 $outは、次の 5 つの圧縮BSONファイルを書込みます。

1. $outがbig_box_store/1.bson.gzと名前を付けるファイルへの最初の200 MiB のデータ。

   • s3.filenameの値は、各ファイル名で定数として機能します。 この値は、ドキュメント フィールドまたは値に依存しません。

   • s3.filenameは区切り文字で終わるため、Atlas Data Federation は 定数の後にカウンターを追加します。

   • 区切り文字で終了しない場合、Atlas Data Federation はbig_box_store.1.bson.gzのように 定数と カウンターの間に.を追加します。

   • s3.format.maxFileSizeを使用して最大ファイルサイズを変更しなかったため、Atlas Data Federation はデフォルト値の 200 MiB を使用します。

2. $outがbig_box_store/2.bson.gzと名前を付ける新しいファイルへの 2 つ目の200 MiB のデータ。

3. $outがbig_box_store/3.bson.gzからbig_box_store/5.bson.gzまでの名前を付けるさらに 3 つのファイル。

90という名前の S3 バケットに JSON ファイルに MiBmy-s3-bucket のデータを書込みたいと考えています。

次の$out構文を使用します。

1
{
2
  "$out": {
3
    "s3": {
4
      "bucket": "my-s3-bucket",
5
      "region": "us-east-1",
6
      "filename": {"$toString": "$saleDate"},
7
      "format": {
8
        "name": "json",
9
        "maxFileSize": "100MiB"
10
      }
11
    }
12
  }
13
}

$outは、バケットのルートにあるJSONファイルに90 MiB のデータを書込みます。 各JSONファイルには、同じsaleDate値を持つすべてのドキュメントが含まれています。 $outは、string に変換されたドキュメントのsaleDate値を使用して各ファイルに名前を付けます。

176 MiB のデータをBSONファイルとしてmy-s3-bucketという名前のS 3バケットに書き込みます。

次の$out構文を使用します。

1
{
2
  "$out": {
3
    "s3": {
4
      "bucket": "my-s3-bucket",
5
      "region": "us-east-1",
6
      "filename": {
7
        "$concat": [
8
          "persons/",
9
          "$name", "/",
10
          "$uniqueId", "/"
11
        ]
12
      },
13
      "format": {
14
        "name": "bson",
15
        "maxFileSize": "200MiB"
16
      }
17
    }
18
  }
19
}

$outは176 MiB のデータをBSONファイルに書込みます。 各ファイルに名前を付けるには、 $outは次の要素を連結します。

• 次のドキュメントからの 定数string persons/ と

  • nameフィールドの string 値、

  • フォワードスラッシュ（ / ）、

  • uniqueIdフィールドの string 値、および

  • フォワードスラッシュ（ / ）。

各BSONファイルには、 nameとuniqueIdの値が同じすべてのドキュメントが含まれています。 $outは、ドキュメントのname値とuniqueId値を使用して各ファイルに名前を付けます。

154 MiB のデータを圧縮JSONファイルとしてmy-s3-bucketという名前のS 3バケットに書き込みます。

次の$out構文を考えてみましょう。

1
{
2
  "$out": {
3
    "s3": {
4
      "bucket": "my-s3-bucket",
5
      "region": "us-east-1",
6
      "filename": {
7
        "$concat": [
8
          "big-box-store/",
9
          {
10
            "$toString": "$storeNumber"
11
          }, "/",
12
          {
13
            "$toString": "$saleDate"
14
          }, "/",
15
          "$partId", "/"
16
        ]
17
      },
18
      "format": {
19
        "name": "json.gz",
20
        "maxFileSize": "200MiB"
21
      }
22
    }
23
  }
24
}

$outは圧縮されたJSONファイルに154 MiB のデータを書込みます。各ファイルには、同じstoreNumber 、 saleDate 、 partId値を持つすべてのドキュメントが含まれています。 各ファイルに名前を付けるには、 $outは次の要素を連結します。

• big-box-store/ の定数string値、

• storeNumberフィールドの一意の店舗番号の string 値、

• フォワードスラッシュ（ / ）、

• saleDateフィールドからの日付の string 値、

• フォワードスラッシュ（ / ）、

• partIdフィールドからの 部分 ID の string 値、および

• フォワードスラッシュ（ / ）。

圧縮BSONファイルとして1 GiB のデータをAzureストレージ アカウントmystorageaccountとmy-containerという名前のコンテナに書き込みます。

次の$out構文を使用します。

1
{
2
  "$out": {
3
    "azure": {
4
      "serviceURL": "http://mystorageaccount.blob.core.windows.net/",
5
      "container": "my-container",
6
      "filename": "big_box_store/",
7
      "format": {
8
        "name": "bson.gz"
9
      }
10
    }
11
  }
12
}

azure.regionは省略されているため、Atlas Data Federation は、 my-containerという名前のコンテナがストレージ構成からホストされているリージョンを決定します。 $outは、次の 5 つの圧縮BSONファイルを書込みます。

1. $outがbig_box_store/1.bson.gzと名前を付けるファイルへの最初の200 MiB のデータ。

   • azure.filenameの値は、各ファイル名で定数として機能します。 この値は、ドキュメント フィールドまたは値に依存しません。

   • azure.filenameは区切り文字で終わるため、Atlas Data Federation は 定数の後にカウンターを追加します。

   • 区切り文字で終了しない場合、Atlas Data Federation はbig_box_store.1.bson.gzのように 定数と カウンターの間に.を追加します。

   • azure.format.maxFileSizeを使用して最大ファイルサイズを変更しなかったため、Atlas Data Federation はデフォルト値の 200 MiB を使用します。

2. $outがbig_box_store/2.bson.gzと名前を付ける新しいファイルへの 2 つ目の200 MiB のデータ。

3. $outがbig_box_store/3.bson.gzからbig_box_store/5.bson.gzまでの名前を付けるさらに 3 つのファイル。

という名前の Azure Blob 90Storage コンテナの JSON ファイルに MiBmy-container のデータを書込みたいと考えています。

次の$out構文を使用します。

1
{
2
  "$out": {
3
    "azure": {
4
      "serviceURL": "http://mystorageaccount.blob.core.windows.net/",
5
      "container": "my-container",
6
      "region": "eastus2",
7
      "filename": {"$toString": "$saleDate"},
8
      "format": {
9
        "name": "json",
10
        "maxFileSize": "100MiB"
11
      }
12
    }
13
  }
14
}

$outは、コンテナのルートにあるJSONファイルに90 MiB のデータを書込みます。 各JSONファイルには、同じsaleDate値を持つすべてのドキュメントが含まれています。 $outは、string に変換されたドキュメントのsaleDate値を使用して各ファイルに名前を付けます。

という名前の Azure Blob Storage コンテナに BSON ファイルとして MiB のデータを書込み (write)176my-container ます。

次の$out構文を使用します。

1
{
2
  "$out": {
3
    "azure": {
4
      "serviceURL": "http://mystorageaccount.blob.core.windows.net/",
5
      "container": "my-container",
6
      "region": "eastus2",
7
      "filename": {
8
        "$concat": [
9
          "persons/",
10
          "$name", "/",
11
          "$uniqueId", "/"
12
        ]
13
      },
14
      "format": {
15
        "name": "bson",
16
        "maxFileSize": "200MiB"
17
      }
18
    }
19
  }
20
}

$outは176 MiB のデータをBSONファイルに書込みます。 各ファイルに名前を付けるには、 $outは次の要素を連結します。

• 次のドキュメントからの 定数string persons/ と

  • nameフィールドの string 値、

  • フォワードスラッシュ（ / ）、

  • uniqueIdフィールドの string 値、および

  • フォワードスラッシュ（ / ）。

各BSONファイルには、 nameとuniqueIdの値が同じすべてのドキュメントが含まれています。 $outは、ドキュメントのname値とuniqueId値を使用して各ファイルに名前を付けます。

圧縮されたJSONファイルとして154 MiB のデータをmy-containerという名前のAzure Blob Storage コンテナに書き込みます。

次の$out構文を考えてみましょう。

1
{
2
  "$out": {
3
    "azure": {
4
      "serviceURL": "http://mystorageaccount.blob.core.windows.net/",
5
      "container": "my-container",
6
      "region": "eastus2",
7
      "filename": {
8
        "$concat": [
9
          "big-box-store/",
10
          {
11
            "$toString": "$storeNumber"
12
          }, "/",
13
          {
14
            "$toString": "$saleDate"
15
          }, "/",
16
          "$partId", "/"
17
        ]
18
      },
19
      "format": {
20
        "name": "json.gz",
21
        "maxFileSize": "200MiB"
22
      }
23
    }
24
  }
25
}

$outは圧縮されたJSONファイルに154 MiB のデータを書込みます。各ファイルには、同じstoreNumber 、 saleDate 、 partId値を持つすべてのドキュメントが含まれています。 各ファイルに名前を付けるには、 $outは次の要素を連結します。

• big-box-store/ の定数string値、

• storeNumberフィールドの一意の店舗番号の string 値、

• フォワードスラッシュ（ / ）、

• saleDateフィールドからの日付の string 値、

• フォワードスラッシュ（ / ）、

• partIdフィールドからの 部分 ID の string 値、および

• フォワードスラッシュ（ / ）。

my-gcs-bucket という名前の Google Cloud Storage バケットに、1 GiB のデータを圧縮 BSON ファイルとして書き込むとします。

次の$out構文を使用します。

1
{
2
  "$out": {
3
    "gcs": {
4
      "bucket": "my-gcs-bucket",
5
      "filename": "big_box_store/",
6
      "format": {
7
        "name": "bson.gz"
8
      }
9
    }
10
  }
11
}

gcs.regionは省略されているため、Atlas Data Federation は、 my-gcs-bucketという名前のバケットがホストされているリージョンをストレージ構成から決定します。 $outは、次の 5 つの圧縮BSONファイルを書込みます。

1. $outがbig_box_store/1.bson.gzと名前を付けるファイルへの最初の200 MiB のデータ。

   • gcs.filenameの値は、各ファイル名で定数として機能します。 この値は、ドキュメント フィールドまたは値に依存しません。

   • gcs.filenameは区切り文字で終わるため、Atlas Data Federation は 定数の後にカウンターを追加します。

   • 区切り文字で終了しない場合、Atlas Data Federation はbig_box_store.1.bson.gzのように 定数と カウンターの間に.を追加します。

   • gcs.format.maxFileSizeを使用して最大ファイルサイズを変更しなかったため、Atlas Data Federation はデフォルト値の 200 MiB を使用します。

2. $outがbig_box_store/2.bson.gzと名前を付ける新しいファイルへの 2 つ目の200 MiB のデータ。

3. $outがbig_box_store/3.bson.gzからbig_box_store/5.bson.gzまでの名前を付けるさらに 3 つのファイル。

my-gcs-bucketという名前の Google Cloud Storage バケットに、90 MiB のデータを JSON ファイルに書き込むとします。

次の$out構文を使用します。

1
{
2
  "$out": {
3
    "gcs": {
4
      "bucket": "my-gcs-bucket",
5
      "region": "us-central1",
6
      "filename": {"$toString": "$saleDate"},
7
      "format": {
8
        "name": "json",
9
        "maxFileSize": "100MiB"
10
      }
11
    }
12
  }
13
}

$outは、バケットのルートにあるJSONファイルに90 MiB のデータを書込みます。 各JSONファイルには、同じsaleDate値を持つすべてのドキュメントが含まれています。 $outは、string に変換されたドキュメントのsaleDate値を使用して各ファイルに名前を付けます。

my-gcs-bucketという名前の Google Cloud Storage バケットに、176 MiBのデータを BSON ファイルとして書き込むとします。

次の$out構文を使用します。

1
{
2
  "$out": {
3
    "gcs": {
4
      "bucket": "my-gcs-bucket",
5
      "region": "us-central1",
6
      "filename": {
7
        "$concat": [
8
          "persons/",
9
          "$name", "/",
10
          "$uniqueId", "/"
11
        ]
12
      },
13
      "format": {
14
        "name": "bson",
15
        "maxFileSize": "200MiB"
16
      }
17
    }
18
  }
19
}

$outは176 MiB のデータをBSONファイルに書込みます。 各ファイルに名前を付けるには、 $outは次の要素を連結します。

• 次のドキュメントからの 定数string persons/ と

  • nameフィールドの string 値、

  • フォワードスラッシュ（ / ）、

  • uniqueIdフィールドの string 値、および

  • フォワードスラッシュ（ / ）。

各BSONファイルには、 nameとuniqueIdの値が同じすべてのドキュメントが含まれています。 $outは、ドキュメントのname値とuniqueId値を使用して各ファイルに名前を付けます。

my-gcs-bucket という名前の Google Cloud Storageバケットに、154 MiB のデータを圧縮 JSON ファイルとして書き込むとします。

次の$out構文を考えてみましょう。

1
{
2
  "$out": {
3
    "gcs": {
4
      "bucket": "my-gcs-bucket",
5
      "region": "us-central1",
6
      "filename": {
7
        "$concat": [
8
          "big-box-store/",
9
          {
10
            "$toString": "$storeNumber"
11
          }, "/",
12
          {
13
            "$toString": "$saleDate"
14
          }, "/",
15
          "$partId", "/"
16
        ]
17
      },
18
      "format": {
19
        "name": "json.gz",
20
        "maxFileSize": "200MiB"
21
      }
22
    }
23
  }
24
}

$outは圧縮されたJSONファイルに154 MiB のデータを書込みます。各ファイルには、同じstoreNumber 、 saleDate 、 partId値を持つすべてのドキュメントが含まれています。 各ファイルに名前を付けるには、 $outは次の要素を連結します。

• big-box-store/ の定数string値、

• storeNumberフィールドの一意の店舗番号の string 値、

• フォワードスラッシュ（ / ）、

• saleDateフィールドからの日付の string 値、

• フォワードスラッシュ（ / ）、

• partIdフィールドからの 部分 ID の string 値、および

• フォワードスラッシュ（ / ）。

この例では、 フィールド値からファイル名を作成するときに、 yearフィールドの null 値を処理する方法を示しています。

1
{
2
  "$out": {
3
    "s3": {
4
      "bucket": "my-s3-bucket",
5
      "region": "us-east-1",
6
      "filename": {
7
        "$concat": [
8
          "big-box-store/",
9
          {
10
            "$convert": {
11
              "input": "$year",
12
              "to": "string",
13
              "onNull": ""
14
            }
15
          }, "/"
16
        ]
17
      },
18
      "format": {
19
        "name": "json.gz",
20
        "maxFileSize": "200MiB"
21
      }
22
    }
23
  }
24
}

次のBSONドキュメントを検討します。

{
  "clientId": 102,
  "phoneNumbers": ["123-4567", "234-5678"],
  "clientInfo": {
    "name": "Taylor",
    "occupation": "teacher"
  }
}
{
  "clientId": "237",
  "phoneNumbers" ["345-6789"]
  "clientInfo": {
    "name": "Jordan"
  }
}

$out を S3 に使用して前述の BSON ドキュメントを Perquet 形式に書き込むと、 BSON ドキュメントの Perquet ファイル スキーマは次のようになります。

message root {
  optional group clientId {
    optional int32 int;
    optional binary string; (STRING)
  }
  optional group phoneNumbers (LIST) {
    repeated group list {
      optional binary element (STRING);
    }
  }
  optional group clientInfo {
    optional binary name (STRING);
    optional binary occupation (STRING);
  }
}

S 3の一部のデータは次のようになります。

1
clientId:
2
.int = 102
3
phoneNumbers:
4
.list:
5
..element = "123-4567"
6
.list:
7
..element = "234-5678"
8
clientInfo:
9
.name = "Taylor"
10
.occupation = "teacher"
11
12
clientId:
13
.string = "237"
14
phoneNumbers:
15
.list:
16
..element = "345-6789"
17
clientInfo:
18
.name = "Jordan"

上記の例は、Atlas Data Federation が複雑なデータ型を処理する方法を示しています。

• Atlas Data Federation は、すべてのレベルのドキュメントを Compass グループにマッピングします。

• Atlas Data Federation は、 LIST論理型と必須の 3 レベルのリストまたは要素構造を使用して配列をエンコードします。 詳細については、「 リスト 」を参照してください。

• Atlas Data Federation は、多形BSONフィールドを複数の単一型列のグループにマッピングします。Parquet は多形列をサポートしていないためです。 Atlas Data Federation は、 BSONフィールドの後にグループに名前を付けます。 前の例では、Atlas Data Federation は、 clientIdという名前の多形フィールドに対してclientIdという名前の Perl グループを作成し、そのBSONタイプにちなんで命名された 2 つの子（ intとstring ）を持ちます。

この例では、 フィールド値からファイル名を作成するときに、 yearフィールドの null 値を処理する方法を示しています。

1
{
2
  "$out": {
3
    "azure": {
4
      "serviceURL": "http://mystorageaccount.blob.core.windows.net/",
5
      "container": "my-container",
6
      "region": "eastus2",
7
      "filename": {
8
        "$concat": [
9
          "big-box-store/",
10
          {
11
            "$convert": {
12
              "input": "$year",
13
              "to": "string",
14
              "onNull": ""
15
            }
16
          }, "/"
17
        ]
18
      },
19
      "format": {
20
        "name": "json.gz",
21
        "maxFileSize": "200MiB"
22
      }
23
    }
24
  }
25
}

次のBSONドキュメントを検討します。

{
  "clientId": 102,
  "phoneNumbers": ["123-4567", "234-5678"],
  "clientInfo": {
    "name": "Taylor",
    "occupation": "teacher"
  }
}
{
  "clientId": "237",
  "phoneNumbers" ["345-6789"]
  "clientInfo": {
    "name": "Jordan"
  }
}

Azure への $out を 使用して前述の BSON ドキュメントを Perquet 形式で書き込むと、 BSON ドキュメントの Perquet ファイル スキーマは次のようになります。

message root {
  optional group clientId {
    optional int32 int;
    optional binary string (STRING);
  }
  optional group phoneNumbers (LIST) {
    repeated group list {
      optional binary element (STRING);
    }
  }
  optional group clientInfo {
    optional binary name (STRING);
    optional binary occupation (STRING);
  }
}

Azure Blog ストレージの一部のデータは次のようになります。

1
clientId:
2
.int = 102
3
phoneNumbers:
4
.list:
5
..element = "123-4567"
6
.list:
7
..element = "234-5678"
8
clientInfo:
9
.name = "Taylor"
10
.occupation = "teacher"
11
12
clientId:
13
.string = "237"
14
phoneNumbers:
15
.list:
16
..element = "345-6789"
17
clientInfo:
18
.name = "Jordan"

上記の例は、Atlas Data Federation が複雑なデータ型を処理する方法を示しています。

• Atlas Data Federation は、すべてのレベルのドキュメントを Compass グループにマッピングします。

• Atlas Data Federation は、 LIST論理型と必須の 3 レベルのリストまたは要素構造を使用して配列をエンコードします。 詳細については、「 リスト 」を参照してください。

• Atlas Data Federation は、多形BSONフィールドを複数の単一型列のグループにマッピングします。Parquet は多形列をサポートしていないためです。 Atlas Data Federation は、 BSONフィールドの後にグループに名前を付けます。 前の例では、Atlas Data Federation は、 clientIdという名前の多形フィールドに対してclientIdという名前の Perl グループを作成し、そのBSONタイプにちなんで命名された 2 つの子（ intとstring ）を持ちます。

この例では、 フィールド値からファイル名を作成するときに、 yearフィールドの null 値を処理する方法を示しています。

1
{
2
  "$out": {
3
    "gcs": {
4
      "bucket": "my-gcs-bucket",
5
      "region": "us-central1",
6
      "filename": {
7
        "$concat": [
8
          "big-box-store/",
9
          {
10
            "$convert": {
11
              "input": "$year",
12
              "to": "string",
13
              "onNull": ""
14
            }
15
          }, "/"
16
        ]
17
      },
18
      "format": {
19
        "name": "json.gz",
20
        "maxFileSize": "200MiB"
21
      }
22
    }
23
  }
24
}

次のBSONドキュメントを検討します。

{
  "clientId": 102,
  "phoneNumbers": ["123-4567", "234-5678"],
  "clientInfo": {
    "name": "Taylor",
    "occupation": "teacher"
  }
}
{
  "clientId": "237",
  "phoneNumbers" ["345-6789"]
  "clientInfo": {
    "name": "Jordan"
  }
}

上記の BSON ドキュメントを $out を使用して Parquet 形式で GCP に書き込むと、BSON ドキュメントの Parquet ファイルスキーマは以下のようになります。

message root {
  optional group clientId {
    optional int32 int;
    optional binary string; (STRING)
  }
  optional group phoneNumbers (LIST) {
    repeated group list {
      optional binary element (STRING);
    }
  }
  optional group clientInfo {
    optional binary name (STRING);
    optional binary occupation (STRING);
  }
}

Google Cloud Storage の Parquet データは次のようになります。

1
clientId:
2
.int = 102
3
phoneNumbers:
4
.list:
5
..element = "123-4567"
6
.list:
7
..element = "234-5678"
8
clientInfo:
9
.name = "Taylor"
10
.occupation = "teacher"
11
12
clientId:
13
.string = "237"
14
phoneNumbers:
15
.list:
16
..element = "345-6789"
17
clientInfo:
18
.name = "Jordan"

上記の例は、Atlas Data Federation が複雑なデータ型を処理する方法を示しています。

• Atlas Data Federation は、すべてのレベルのドキュメントを Compass グループにマッピングします。

• Atlas Data Federation は、 LIST論理型と必須の 3 レベルのリストまたは要素構造を使用して配列をエンコードします。 詳細については、「 リスト 」を参照してください。

• Atlas Data Federation は、多形BSONフィールドを複数の単一型列のグループにマッピングします。Parquet は多形列をサポートしていないためです。 Atlas Data Federation は、 BSONフィールドの後にグループに名前を付けます。 前の例では、Atlas Data Federation は、 clientIdという名前の多形フィールドに対してclientIdという名前の Perl グループを作成し、そのBSONタイプにちなんで命名された 2 つの子（ intとstring ）を持ちます。