Docs 菜单

管理 Atlas Stream Processing

您可以使用Atlas Kubernetes Operator管理Atlas Stream Processing实例和Atlas Stream Processing的连接。 Atlas Stream Processing 使您能够使用与 Atlas 数据库相同的 MongoDB 查询 API来处理复杂的数据流。 Atlas Stream Processing 允许您执行以下任务:

  • 构建聚合管道以持续处理流数据,而不会出现批处理中固有的延迟。

  • 执行持续模式验证,以检查消息格式是否正确、检测消息损坏并检测延迟到达的数据。

  • 持续将结果发布到 Atlas 集合或 Apache Kafka 集群,确保最新的数据视图和分析。

Atlas Stream Processing 组件直接属于 Atlas 项目,并独立于 Atlas 集群运行。 要了解更多信息,请参阅Atlas Stream Processing 概述。

Atlas Stream Processing实例为流媒体数据进行的所有操作提供上下文。 您可以配置示例连接、与Atlas 变更流 的连接或与 Apache Kafka 系统。然后,您可以将该连接添加到流处理实例的连接注册表中。 要学习;了解更多信息,请参阅管理流处理实例。

要使用Atlas Kubernetes Operator管理Atlas Stream Processing实例和连接,您必须:

要使用Atlas Kubernetes Operator管理Atlas Stream Processing实例及其连接,请执行以下步骤:

1

示例:

cat <<EOF | kubectl apply -f -
apiVersion: atlas.mongodb.com/v1
kind: AtlasStreamInstance
metadata:
name: my-stream-instance
spec:
name: my-stream-instance
clusterConfig:
provider: AWS
region: VIRGINIA_USA
tier: SP30
projectRef:
name: my-project
EOF

要了解有关可用参数的更多信息,请参阅AtlasStreamInstance自定义资源。

注意

目前,Atlas Kubernetes Operator 仅支持此自定义资源的AWS提供程序和VIRGINIA_USA区域。

2

您可以配置示例连接、与 Atlas 变更流 的连接或与 Apache Kafka 系统。

例子:

apiVersion: atlas.mongodb.com/v1
kind: AtlasStreamConnection
metadata:
name: my-stream-connection
spec:
name: sample_stream_solar
type: Sample

注意

如果您为spec.type参数指定Sample ,则spec.name参数必须与样本集合名称匹配。 目前,Atlas Kubernetes Operator 仅支持此自定义资源的sample_stream_solar样本集合。

apiVersion: atlas.mongodb.com/v1
kind: AtlasStreamConnection
metadata:
name: my-stream-connection
spec:
name: my-stream-connection
type: Cluster
clusterConfig:
name: my-cluster
role:
name: my-db-role
type: CUSTOM
apiVersion: atlas.mongodb.com/v1
kind: AtlasStreamConnection
metadata:
name: my-stream-connection
spec:
name: my-stream-connection
type: Kafka
kafkaConfig:
bootstrapServers: "comma,separated,list,of,server,addresses"
authentication:
mechanism: SCRAM-512
credentials:
name: ref-to-creds-secret
namespace: default
security:
protocol: SSL
certificate:
name: ref-to-certificate-secret
namespace: default

要了解有关可用参数的更多信息,请参阅AtlasStreamConnection自定义资源。

3

示例:

cat <<EOF | kubectl apply -f -
apiVersion: atlas.mongodb.com/v1
kind: AtlasStreamInstance
metadata:
name: my-stream-instance
spec:
name: my-stream-instance
clusterConfig:
provider: AWS
region: VIRGINIA_USA
tier: SP30
projectRef:
name: my-project
connectionRegistry:
- name: ref-my-connection-1
namespace: my-namespace1
- name: ref-my-connection-2
namespace: my-namespace2
- name: ref-my-connection-3
namespace: my-namespace1
EOF

注意

目前,Atlas Kubernetes Operator 仅支持此自定义资源的AWS提供程序和VIRGINIA_USA区域。

要了解有关可用参数的更多信息,请参阅AtlasStreamInstance自定义资源。