$out

您想要将 1 GiB 数据以压缩的 BSON 文件的形式写入名为 my-s3-bucket 的 S3 存储桶中。

使用以下 $out 语法：

1
{
2
  "$out": {
3
    "s3": {
4
      "bucket": "my-s3-bucket",
5
      "filename": "big_box_store/",
6
      "format": {
7
        "name": "bson.gz"
8
      }
9
    }
10
  }
11
}

已省略 s3.region，因此 Atlas Data Federation 会从存储配置中确定名为 my-s3-bucket 的存储桶所在的区域。$out 会写入五个压缩的 BSON 文件：

1. 将前200 MiB 数据写入$out名为big_box_store/1.bson.gz的文件。

   • s3.filename 的值在每个文件名中充当常量。此值不依赖于任何文档字段或值。此值不依赖于任何文档字段或值。

   • 您的 s3.filename 以分隔符结尾，因此 Atlas Data Federation 将计数器附加在常量之后。

   • 如果它不以分隔符结尾，Atlas Data Federation 将在常量和计数器之间添加一个 .，例如 big_box_store.1.bson.gz

   • 由于您没有使用 s3.format.maxFileSize 更改最大文件大小，Atlas Data Federation 会使用默认值 200 MiB。

2. 将第二个200 MiB 数据写入$out命名为big_box_store/2.bson.gz的新文件。

3. $out将另外三个文件命名为big_box_store/3.bson.gz到big_box_store/5.bson.gz 。

您想要将 90 MiB 的数据写入 JSON 文件并存储到名为 my-s3-bucket 的 S3 存储桶。

使用以下 $out 语法：

1
{
2
  "$out": {
3
    "s3": {
4
      "bucket": "my-s3-bucket",
5
      "region": "us-east-1",
6
      "filename": {"$toString": "$saleDate"},
7
      "format": {
8
        "name": "json",
9
        "maxFileSize": "100MiB"
10
      }
11
    }
12
  }
13
}

$out 将 90 MiB 的数据写入存储桶根目录中的 JSON 文件。每个 JSON 文件包含所有具有相同 saleDate 值的文档。$out 使用转换为字符串的文档 saleDate 值来为每个文件命名。

您想要将 176 MiB 的数据写入 BSON 文件并存储到名为 my-s3-bucket 的 S3 存储桶。

使用以下 $out 语法：

1
{
2
  "$out": {
3
    "s3": {
4
      "bucket": "my-s3-bucket",
5
      "region": "us-east-1",
6
      "filename": {
7
        "$concat": [
8
          "persons/",
9
          "$name", "/",
10
          "$uniqueId", "/"
11
        ]
12
      },
13
      "format": {
14
        "name": "bson",
15
        "maxFileSize": "200MiB"
16
      }
17
    }
18
  }
19
}

$out 将 176 MiB 的数据写入 BSON 文件。要为每个文件命名， $out 会连接以下内容：

• 常量字符串 persons/ 和文档中的：

  • name 字段的字符串值，

  • 正斜杠（/），

  • uniqueId 字段的字符串值，以及

  • 正斜线（/）。

每个 BSON 文件包含具有相同 name 和 uniqueId 值的所有文档。$out 使用文档的 name 和 uniqueId 值命名每个文件。

您想要将 154 MiB 数据以压缩的 JSON 文件的形式写入名为 my-s3-bucket 的 S3 存储桶中。

以下列 $out 语法为例：

1
{
2
  "$out": {
3
    "s3": {
4
      "bucket": "my-s3-bucket",
5
      "region": "us-east-1",
6
      "filename": {
7
        "$concat": [
8
          "big-box-store/",
9
          {
10
            "$toString": "$storeNumber"
11
          }, "/",
12
          {
13
            "$toString": "$saleDate"
14
          }, "/",
15
          "$partId", "/"
16
        ]
17
      },
18
      "format": {
19
        "name": "json.gz",
20
        "maxFileSize": "200MiB"
21
      }
22
    }
23
  }
24
}

$out将 154 MiB 数据写入到压缩 JSON 文件，其中每个文件包含具有相同 storeNumber、saleDate 和 partId 值的所有文档。为了给每个文件命名，$out 会拼接如下部分：

• 常量字符串值 big-box-store/，

• storeNumber 字段中唯一商店编号的字符串值，

• 正斜杠（/），

• saleDate 字段中日期的字符串值，

• 正斜杠（/），

• 来自 partId 字段的部件 ID 的字符串值，以及

• 正斜线（/）。

您想要将 1 GB 的数据作为压缩 BSON 文件写入 Azure 存储帐户 mystorageaccount 和名为 my-container 的容器。

使用以下 $out 语法：

1
{
2
  "$out": {
3
    "azure": {
4
      "serviceURL": "http://mystorageaccount.blob.core.windows.net/",
5
      "container": "my-container",
6
      "filename": "big_box_store/",
7
      "format": {
8
        "name": "bson.gz"
9
      }
10
    }
11
  }
12
}

已省略 azure.region，因此 Atlas Data Federation 会确定通过存储配置托管的名为 my-container 的容器所在的区域。$out 会写入五个压缩的 BSON 文件：

1. 将前200 MiB 数据写入$out名为big_box_store/1.bson.gz的文件。

   • azure.filename 的值在每个文件名中充当常量。此值不依赖于任何文档字段或值。此值不依赖于任何文档字段或值。

   • 您的 azure.filename 以分隔符结尾，因此 Atlas Data Federation 将计数器附加在常量之后。

   • 如果它不以分隔符结尾，Atlas Data Federation 将在常量和计数器之间添加一个 .，例如 big_box_store.1.bson.gz

   • 由于您没有使用 azure.format.maxFileSize 更改最大文件大小，Atlas Data Federation 会使用默认值 200 MiB。

2. 将第二个200 MiB 数据写入$out命名为big_box_store/2.bson.gz的新文件。

3. $out将另外三个文件命名为big_box_store/3.bson.gz到big_box_store/5.bson.gz 。

您想要将 90 MiB 的 JSON文件数据写入名为 my-container 的 AzureBlob Storage 容器。

使用以下 $out 语法：

1
{
2
  "$out": {
3
    "azure": {
4
      "serviceURL": "http://mystorageaccount.blob.core.windows.net/",
5
      "container": "my-container",
6
      "region": "eastus2",
7
      "filename": {"$toString": "$saleDate"},
8
      "format": {
9
        "name": "json",
10
        "maxFileSize": "100MiB"
11
      }
12
    }
13
  }
14
}

$out 将 90 MiB 数据写入到容器根目录中的 JSON 文件中。每个 JSON 文件包含所有具有相同 saleDate 值的文档。$out 使用转换为字符串的文档的 saleDate 值来为每个文件命名。

您想要将 176 MiB 数据作为 BSON 文件写入名为 my-container 的 Azure Blob 存储容器。

使用以下 $out 语法：

1
{
2
  "$out": {
3
    "azure": {
4
      "serviceURL": "http://mystorageaccount.blob.core.windows.net/",
5
      "container": "my-container",
6
      "region": "eastus2",
7
      "filename": {
8
        "$concat": [
9
          "persons/",
10
          "$name", "/",
11
          "$uniqueId", "/"
12
        ]
13
      },
14
      "format": {
15
        "name": "bson",
16
        "maxFileSize": "200MiB"
17
      }
18
    }
19
  }
20
}

$out 将 176 MiB 的数据写入 BSON 文件。要为每个文件命名， $out 会连接以下内容：

• 常量字符串 persons/ 和文档中的：

  • name 字段的字符串值，

  • 正斜杠（/），

  • uniqueId 字段的字符串值，以及

  • 正斜线（/）。

每个 BSON 文件包含具有相同 name 和 uniqueId 值的所有文档。$out 使用文档的 name 和 uniqueId 值命名每个文件。

您想要将 154 MiB 数据作为压缩的 JSON 文件写入名为 my-container 的 Azure Blob 存储容器。

以下列 $out 语法为例：

1
{
2
  "$out": {
3
    "azure": {
4
      "serviceURL": "http://mystorageaccount.blob.core.windows.net/",
5
      "container": "my-container",
6
      "region": "eastus2",
7
      "filename": {
8
        "$concat": [
9
          "big-box-store/",
10
          {
11
            "$toString": "$storeNumber"
12
          }, "/",
13
          {
14
            "$toString": "$saleDate"
15
          }, "/",
16
          "$partId", "/"
17
        ]
18
      },
19
      "format": {
20
        "name": "json.gz",
21
        "maxFileSize": "200MiB"
22
      }
23
    }
24
  }
25
}

$out将 154 MiB 数据写入到压缩 JSON 文件，其中每个文件包含具有相同 storeNumber、saleDate 和 partId 值的所有文档。为了给每个文件命名，$out 会拼接如下部分：

• 常量字符串值 big-box-store/，

• storeNumber 字段中唯一商店编号的字符串值，

• 正斜杠（/），

• saleDate 字段中日期的字符串值，

• 正斜杠（/），

• 来自 partId 字段的部件 ID 的字符串值，以及

• 正斜线（/）。

您想要将 1 GiB 的数据以压缩的 BSON 文件的形式写入名为 my-gcs-bucket 的 Google Cloud Storage 存储桶。

使用以下 $out 语法：

1
{
2
  "$out": {
3
    "gcs": {
4
      "bucket": "my-gcs-bucket",
5
      "filename": "big_box_store/",
6
      "format": {
7
        "name": "bson.gz"
8
      }
9
    }
10
  }
11
}

已省略 gcs.region，因此 Atlas Data Federation 会从存储配置中确定名为 my-gcs-bucket 的存储桶所在的区域。$out 会写入五个压缩的 BSON 文件：

1. 将前200 MiB 数据写入$out名为big_box_store/1.bson.gz的文件。

   • gcs.filename 的值在每个文件名中充当常量。此值不依赖于任何文档字段或值。此值不依赖于任何文档字段或值。

   • 您的 gcs.filename 以分隔符结尾，因此 Atlas Data Federation 将计数器附加在常量之后。

   • 如果它不以分隔符结尾，Atlas Data Federation 将在常量和计数器之间添加一个 .，例如 big_box_store.1.bson.gz

   • 由于您没有使用 gcs.format.maxFileSize 更改最大文件大小，Atlas Data Federation 会使用默认值 200 MiB。

2. 将第二个200 MiB 数据写入$out命名为big_box_store/2.bson.gz的新文件。

3. $out将另外三个文件命名为big_box_store/3.bson.gz到big_box_store/5.bson.gz 。

您想要将 90 MiB 的数据写入 JSON 文件并保存到名为 my-gcs-bucket 的 Google Cloud Storage 存储桶。

使用以下 $out 语法：

1
{
2
  "$out": {
3
    "gcs": {
4
      "bucket": "my-gcs-bucket",
5
      "region": "us-central1",
6
      "filename": {"$toString": "$saleDate"},
7
      "format": {
8
        "name": "json",
9
        "maxFileSize": "100MiB"
10
      }
11
    }
12
  }
13
}

$out 将 90 MiB 的数据写入存储桶根目录中的 JSON 文件。每个 JSON 文件包含所有具有相同 saleDate 值的文档。$out 使用转换为字符串的文档 saleDate 值来为每个文件命名。

您想要将 176 MiB 的数据作为 BSON 文件写入名为 my-gcs-bucket 的 Google Cloud Storage 存储桶。

使用以下 $out 语法：

1
{
2
  "$out": {
3
    "gcs": {
4
      "bucket": "my-gcs-bucket",
5
      "region": "us-central1",
6
      "filename": {
7
        "$concat": [
8
          "persons/",
9
          "$name", "/",
10
          "$uniqueId", "/"
11
        ]
12
      },
13
      "format": {
14
        "name": "bson",
15
        "maxFileSize": "200MiB"
16
      }
17
    }
18
  }
19
}

$out 将 176 MiB 的数据写入 BSON 文件。要为每个文件命名， $out 会连接以下内容：

• 常量字符串 persons/ 和文档中的：

  • name 字段的字符串值，

  • 正斜杠（/），

  • uniqueId 字段的字符串值，以及

  • 正斜线（/）。

每个 BSON 文件包含具有相同 name 和 uniqueId 值的所有文档。$out 使用文档的 name 和 uniqueId 值命名每个文件。

您想要将 154 MiB 数据以压缩的 JSON 文件的形式写入名为 my-gcs-bucket 的 Google Cloud Storage 存储桶。

以下列 $out 语法为例：

1
{
2
  "$out": {
3
    "gcs": {
4
      "bucket": "my-gcs-bucket",
5
      "region": "us-central1",
6
      "filename": {
7
        "$concat": [
8
          "big-box-store/",
9
          {
10
            "$toString": "$storeNumber"
11
          }, "/",
12
          {
13
            "$toString": "$saleDate"
14
          }, "/",
15
          "$partId", "/"
16
        ]
17
      },
18
      "format": {
19
        "name": "json.gz",
20
        "maxFileSize": "200MiB"
21
      }
22
    }
23
  }
24
}

$out将 154 MiB 数据写入到压缩 JSON 文件，其中每个文件包含具有相同 storeNumber、saleDate 和 partId 值的所有文档。为了给每个文件命名，$out 会拼接如下部分：

• 常量字符串值 big-box-store/，

• storeNumber 字段中唯一商店编号的字符串值，

• 正斜杠（/），

• saleDate 字段中日期的字符串值，

• 正斜杠（/），

• 来自 partId 字段的部件 ID 的字符串值，以及

• 正斜线（/）。

此示例演示了在从字段值创建文件名时如何处理 year 字段中的空值。

1
{
2
  "$out": {
3
    "s3": {
4
      "bucket": "my-s3-bucket",
5
      "region": "us-east-1",
6
      "filename": {
7
        "$concat": [
8
          "big-box-store/",
9
          {
10
            "$convert": {
11
              "input": "$year",
12
              "to": "string",
13
              "onNull": ""
14
            }
15
          }, "/"
16
        ]
17
      },
18
      "format": {
19
        "name": "json.gz",
20
        "maxFileSize": "200MiB"
21
      }
22
    }
23
  }
24
}

请考虑以下 BSON 文档：

{
  "clientId": 102,
  "phoneNumbers": ["123-4567", "234-5678"],
  "clientInfo": {
    "name": "Taylor",
    "occupation": "teacher"
  }
}
{
  "clientId": "237",
  "phoneNumbers" ["345-6789"]
  "clientInfo": {
    "name": "Jordan"
  }
}

如果您使用 $out to S3 将前面的 BSON 文档写入 Parquet 格式，则您的 BSON 文档的 Parquet 文件模式将如下所示：

message root {
  optional group clientId {
    optional int32 int;
    optional binary string; (STRING)
  }
  optional group phoneNumbers (LIST) {
    repeated group list {
      optional binary element (STRING);
    }
  }
  optional group clientInfo {
    optional binary name (STRING);
    optional binary occupation (STRING);
  }
}

您在 S3 上的 Parquet 数据看起来类似于以下内容：

1
clientId:
2
.int = 102
3
phoneNumbers:
4
.list:
5
..element = "123-4567"
6
.list:
7
..element = "234-5678"
8
clientInfo:
9
.name = "Taylor"
10
.occupation = "teacher"
11
12
clientId:
13
.string = "237"
14
phoneNumbers:
15
.list:
16
..element = "345-6789"
17
clientInfo:
18
.name = "Jordan"

前面的示例演示了 Atlas Data Federation 如何处理复杂的数据类型：

• Atlas Data Federation 会将所有级别的文档映射到一个 Parquet 群组。

• Atlas Data Federation 使用LIST逻辑类型和强制的三级列表或元素结构对数组进行编码。 要了解更多信息，请参阅 列表。

• 由于 Parquet 不支持多态列，Atlas Data Federation 将多态 BSON 字段映射到包含多列的一组单一类型列。Atlas Data Federation 以 BSON 字段命名该群组。在前面的示例中，Atlas Data Federation 为名为 clientId 的多态字段创建一个名为 clientId 的 Parquet 组，其中有两个以其 BSON 类型命名的子项：int 和 string。

此示例演示了在从字段值创建文件名时如何处理 year 字段中的空值。

1
{
2
  "$out": {
3
    "azure": {
4
      "serviceURL": "http://mystorageaccount.blob.core.windows.net/",
5
      "container": "my-container",
6
      "region": "eastus2",
7
      "filename": {
8
        "$concat": [
9
          "big-box-store/",
10
          {
11
            "$convert": {
12
              "input": "$year",
13
              "to": "string",
14
              "onNull": ""
15
            }
16
          }, "/"
17
        ]
18
      },
19
      "format": {
20
        "name": "json.gz",
21
        "maxFileSize": "200MiB"
22
      }
23
    }
24
  }
25
}

请考虑以下 BSON 文档：

{
  "clientId": 102,
  "phoneNumbers": ["123-4567", "234-5678"],
  "clientInfo": {
    "name": "Taylor",
    "occupation": "teacher"
  }
}
{
  "clientId": "237",
  "phoneNumbers" ["345-6789"]
  "clientInfo": {
    "name": "Jordan"
  }
}

如果使用 $out to Azure 将前面的 BSON 文档写成 Parquet 格式， BSON 文档的 Parquet 文件模式将与下面类似：

message root {
  optional group clientId {
    optional int32 int;
    optional binary string (STRING);
  }
  optional group phoneNumbers (LIST) {
    repeated group list {
      optional binary element (STRING);
    }
  }
  optional group clientInfo {
    optional binary name (STRING);
    optional binary occupation (STRING);
  }
}

您在 Azure Blob 存储中的 Parquet 数据看起来类似于以下内容：

1
clientId:
2
.int = 102
3
phoneNumbers:
4
.list:
5
..element = "123-4567"
6
.list:
7
..element = "234-5678"
8
clientInfo:
9
.name = "Taylor"
10
.occupation = "teacher"
11
12
clientId:
13
.string = "237"
14
phoneNumbers:
15
.list:
16
..element = "345-6789"
17
clientInfo:
18
.name = "Jordan"

前面的示例演示了 Atlas Data Federation 如何处理复杂的数据类型：

• Atlas Data Federation 会将所有级别的文档映射到一个 Parquet 群组。

• Atlas Data Federation 使用LIST逻辑类型和强制的三级列表或元素结构对数组进行编码。 要了解更多信息，请参阅 列表。

• 由于 Parquet 不支持多态列，Atlas Data Federation 将多态 BSON 字段映射到包含多列的一组单一类型列。Atlas Data Federation 以 BSON 字段命名该群组。在前面的示例中，Atlas Data Federation 为名为 clientId 的多态字段创建一个名为 clientId 的 Parquet 组，其中有两个以其 BSON 类型命名的子项：int 和 string。

此示例演示了在从字段值创建文件名时如何处理 year 字段中的空值。

1
{
2
  "$out": {
3
    "gcs": {
4
      "bucket": "my-gcs-bucket",
5
      "region": "us-central1",
6
      "filename": {
7
        "$concat": [
8
          "big-box-store/",
9
          {
10
            "$convert": {
11
              "input": "$year",
12
              "to": "string",
13
              "onNull": ""
14
            }
15
          }, "/"
16
        ]
17
      },
18
      "format": {
19
        "name": "json.gz",
20
        "maxFileSize": "200MiB"
21
      }
22
    }
23
  }
24
}

请考虑以下 BSON 文档：

{
  "clientId": 102,
  "phoneNumbers": ["123-4567", "234-5678"],
  "clientInfo": {
    "name": "Taylor",
    "occupation": "teacher"
  }
}
{
  "clientId": "237",
  "phoneNumbers" ["345-6789"]
  "clientInfo": {
    "name": "Jordan"
  }
}

如果使用 $out to GCP 将前面的 BSON 文档写成 Parquet 格式，BSON 文档的 Parquet 文件模式将类似于以下内容：

message root {
  optional group clientId {
    optional int32 int;
    optional binary string; (STRING)
  }
  optional group phoneNumbers (LIST) {
    repeated group list {
      optional binary element (STRING);
    }
  }
  optional group clientInfo {
    optional binary name (STRING);
    optional binary occupation (STRING);
  }
}

您在 Google Cloud Storage 上的 Parquet 数据看起来类似于以下内容：

1
clientId:
2
.int = 102
3
phoneNumbers:
4
.list:
5
..element = "123-4567"
6
.list:
7
..element = "234-5678"
8
clientInfo:
9
.name = "Taylor"
10
.occupation = "teacher"
11
12
clientId:
13
.string = "237"
14
phoneNumbers:
15
.list:
16
..element = "345-6789"
17
clientInfo:
18
.name = "Jordan"

前面的示例演示了 Atlas Data Federation 如何处理复杂的数据类型：

• Atlas Data Federation 会将所有级别的文档映射到一个 Parquet 群组。

• Atlas Data Federation 使用LIST逻辑类型和强制的三级列表或元素结构对数组进行编码。 要了解更多信息，请参阅 列表。

• 由于 Parquet 不支持多态列，Atlas Data Federation 将多态 BSON 字段映射到包含多列的一组单一类型列。Atlas Data Federation 以 BSON 字段命名该群组。在前面的示例中，Atlas Data Federation 为名为 clientId 的多态字段创建一个名为 clientId 的 Parquet 组，其中有两个以其 BSON 类型命名的子项：int 和 string。