管理 Atlas Stream Processing
您可以使用Atlas Kubernetes Operator管理Atlas Stream Processing实例和Atlas Stream Processing的连接。 Atlas Stream Processing 使您能够使用与 Atlas 数据库相同的 MongoDB 查询 API来处理复杂的数据流。 Atlas Stream Processing 允许您执行以下任务:
构建聚合管道以持续处理流数据,而不会出现批处理中固有的延迟。
执行持续模式验证,以检查消息格式是否正确、检测消息损坏并检测延迟到达的数据。
持续将结果发布到 Atlas 集合或 Apache Kafka 集群,确保最新的数据视图和分析。
Atlas Stream Processing 组件直接属于 Atlas 项目,并独立于 Atlas 集群运行。 要了解更多信息,请参阅Atlas Stream Processing 概述。
Atlas Stream Processing实例和连接
Atlas Stream Processing实例为流媒体数据进行的所有操作提供上下文。 您可以配置示例连接、与Atlas 变更流 的连接或与 Apache Kafka 系统。然后,您可以将该连接添加到流处理实例的连接注册表中。 要学习;了解更多信息,请参阅管理流处理实例。
先决条件
要使用Atlas Kubernetes Operator管理Atlas Stream Processing实例和连接,您必须:
Atlas user
Project Owner
Project Stream Processing Owner
让具有 或Atlas Stream Processing 角色的 来管理连接注册表和 实例。要进一步了解这两个角色之间的区别,请参阅项目角色。拥有一个运行的Kubernetes集群,其中部署了Atlas Kubernetes Operator 。
确保您的 IP地址在组织的API访问列表中。
步骤
要使用Atlas Kubernetes Operator管理Atlas Stream Processing实例及其连接,请执行以下步骤:
配置 AtlasStreamInstance
自定义资源。
示例:
cat <<EOF | kubectl apply -f - apiVersion: atlas.mongodb.com/v1 kind: AtlasStreamInstance metadata: name: my-stream-instance spec: name: my-stream-instance clusterConfig: provider: AWS region: VIRGINIA_USA tier: SP30 projectRef: name: my-project EOF
要了解有关可用参数的更多信息,请参阅AtlasStreamInstance
自定义资源。
注意
目前,Atlas Kubernetes Operator 仅支持此自定义资源的AWS
提供程序和VIRGINIA_USA
区域。
配置 AtlasStreamConnection
自定义资源。
您可以配置示例连接、与 Atlas 变更流 的连接或与 Apache Kafka 系统。
例子:
apiVersion: atlas.mongodb.com/v1 kind: AtlasStreamConnection metadata: name: my-stream-connection spec: name: sample_stream_solar type: Sample
注意
如果您为spec.type
参数指定Sample
,则spec.name
参数必须与样本集合名称匹配。 目前,Atlas Kubernetes Operator 仅支持此自定义资源的sample_stream_solar
样本集合。
apiVersion: atlas.mongodb.com/v1 kind: AtlasStreamConnection metadata: name: my-stream-connection spec: name: my-stream-connection type: Cluster clusterConfig: name: my-cluster role: name: my-db-role type: CUSTOM
apiVersion: atlas.mongodb.com/v1 kind: AtlasStreamConnection metadata: name: my-stream-connection spec: name: my-stream-connection type: Kafka kafkaConfig: bootstrapServers: "comma,separated,list,of,server,addresses" authentication: mechanism: SCRAM-512 credentials: name: ref-to-creds-secret namespace: default security: protocol: SSL certificate: name: ref-to-certificate-secret namespace: default
要了解有关可用参数的更多信息,请参阅AtlasStreamConnection
自定义资源。
将连接添加到AtlasStreamInstance
自定义资源中的连接注册表。
示例:
cat <<EOF | kubectl apply -f - apiVersion: atlas.mongodb.com/v1 kind: AtlasStreamInstance metadata: name: my-stream-instance spec: name: my-stream-instance clusterConfig: provider: AWS region: VIRGINIA_USA tier: SP30 projectRef: name: my-project connectionRegistry: - name: ref-my-connection-1 namespace: my-namespace1 - name: ref-my-connection-2 namespace: my-namespace2 - name: ref-my-connection-3 namespace: my-namespace1 EOF
注意
目前,Atlas Kubernetes Operator 仅支持此自定义资源的AWS
提供程序和VIRGINIA_USA
区域。
要了解有关可用参数的更多信息,请参阅AtlasStreamInstance
自定义资源。