管理连接注册表
每个流处理实例都会在其连接注册表中存储与流数据源或接收器的每个配置连接。此页面上的程序将引导您创建和配置 Atlas Stream Processing 连接。
先决条件
要创建和配置连接,您必须具备以下条件:
一个 Atlas 项目
具有管理连接注册表的
Project Owner
或Project Stream Processing Owner
角色的 Atlas 用户注意
Project Owner
角色允许您创建数据库部署、管理项目访问和项目设置、管理 IP 访问列表条目等。Project Stream Processing Owner
角色可执行 Atlas Stream Processing 操作,如查看、创建、删除和编辑流处理实例,以及查看、添加、修改和删除连接注册表中的连接。要详细了解这两个角色之间的区别,请参阅项目角色。
Atlas 集群
查看连接注册表中的连接
要查看与Atlas Stream Processing实例的连接,请执行以下操作:
要列出使用 Atlas CLI 指定的一个Atlas Stream Processing实例的所有连接,请运行以下命令:
atlas streams connections list [options]
要使用 Atlas CLI 返回指定的一个Atlas Stream Processing连接的详细信息,请运行以下命令:
atlas streams connections describe <streamConnectionName> [options]
要进一步了解上述命令的语法和参数,请参阅 Atlas CLI 文档 atlasstreams connections list和atlas streams connections describe。
AtlasGoStream Processing在Atlas中,Go项目的 页面。
如果尚未显示,请从导航栏上的 Organizations 菜单中选择包含项目的组织。
如果尚未显示,请从导航栏的 Projects 菜单中选择您的项目。
在侧边栏中,单击 Services 标题下的 Stream Processing。
此时将显示 Stream Processing 页面。
要使用 mongosh
列出所有可用连接,请使用 sp.listConnections()
方法。该方法会返回一个文档列表,用来描述流处理实例中连接注册表里的每个连接。该方法采用以下语法:
sp.listConnections()
将连接添加到连接注册表
Atlas Stream Processing 支持以下连接类型:
每种类型都有独特的配置要求。
添加 Apache Kafka 连接
重要
Atlas Stream Processing 的 VPC 对等互连目前处于私有预览阶段。要了解更多信息,请联系您的客户团队。
要将 Kafka 连接添加到流处理实例,请执行以下操作:
要使用 Atlas CLI 为指定的 Atlas Stream Processing 实例创建一个连接,请运行以下命令:
atlas streams connections create [connectionName] [options]
要了解有关命令语法和参数的更多信息,请参阅 Atlas Streams 连接创建的 Atlas CLI 文档。
使用 Atlas CLI 创建流处理实例时,必须提供 .json
配置文件来定义新连接的参数。 此文件的格式取决于您定义的连接类型。
对于 Apache Kafka 连接,请提供具有以下语法的配置文件:
{ "name": "<name>", "type": "Kafka", "bootstrapServers": "<address:port>, ...", "security": { "protocol": "<protocol>" }, "authentication": { "mechanism": "<auth-mechanism>", "username": "<username>", "password": "<password>" } }
AtlasGoStream Processing在Atlas中,Go项目的 页面。
如果尚未显示,请从导航栏上的 Organizations 菜单中选择包含项目的组织。
如果尚未显示,请从导航栏的 Projects 菜单中选择您的项目。
在侧边栏中,单击 Services 标题下的 Stream Processing。
此时将显示 Stream Processing 页面。
添加新连接。
选择 Kafka 连接。
提供 Connection Name。在流处理实例中,每个连接名称都必须是唯一的。这是用于在 Atlas Stream Processing 聚合中引用连接的名称。
选择 Network Access 类型。Atlas Stream Processing 支持 Public IP或VPC Peering 连接。
点击 Public IP 按钮。此网络访问类型无需进一步配置。
单击 VPC Peering 按钮。
将 Enable VPC Peering(启用 VPC 对等互连)打开。Atlas Stream Processing 会自动从您配置的连接中选择适当的 VPC 对等连接。
如果您没有 VPC 对等连接,请配置 Atlas 网络对等连接。
为 Apache Kafka 系统指定一个或多个引导服务器的 IP 地址。
从下拉菜单中选择 Security Protocol Method。
Atlas Stream Processing 支持
SASL_PLAINTEXT
或SASL_SSL
。SASL_PLAINTEXT
与 VPC 对待互连不兼容。要使用 VPC 对等互连,必须选择SASL_SSL
方法。从下拉菜单中选择 SASL Mechanism。
Atlas Stream Processing 支持:
PLAIN
SCRAM-SHA-256
SCRAM-SHA-512
提供 Username 用于身份验证。
提供用于身份验证的密码。
单击 Add connection(连接)。
从下拉菜单中选择 SASL Mechanism。
Atlas Stream Processing 支持:
PLAIN
SCRAM-SHA-256
SCRAM-SHA-512
单击Upload以上传您的Certificate Authority PEM file
提供 Username 用于身份验证。
提供用于身份验证的密码。
单击 Add connection(连接)。
Atlas Administration API 提供了一个端点,用于将连接添加到连接注册表。
重要
将 Apache Kafka 集群等外部连接添加到连接注册表后,您必须将 Atlas IP 地址添加到该外部连接的访问列表中。有关更多信息,请参阅支持访问 Atlas 控制面或从 Atlas 控制面进行访问。
添加 Atlas 连接
重要
Atlas Stream Processing 的 VPC 对等互连目前处于私有预览阶段。要了解更多信息,请联系您的客户团队。
要将 Atlas 数据库连接添加到流处理实例,请执行以下操作:
要使用 Atlas CLI 为指定的 Atlas Stream Processing 实例创建一个连接,请运行以下命令:
atlas streams connections create [connectionName] [options]
要了解有关命令语法和参数的更多信息,请参阅 Atlas Streams 连接创建的 Atlas CLI 文档。
使用 Atlas CLI 创建流处理实例时,必须提供 .json
配置文件来定义新连接的参数。 此文件的格式取决于您定义的连接类型。
对于 Atlas 数据库连接,请提供具有以下语法的配置文件:
{ "name": "<name>", "type": "Cluster", "clusterName": "<clusterName>" }
AtlasGoStream Processing在Atlas中,Go项目的 页面。
如果尚未显示,请从导航栏上的 Organizations 菜单中选择包含项目的组织。
如果尚未显示,请从导航栏的 Projects 菜单中选择您的项目。
在侧边栏中,单击 Services 标题下的 Stream Processing。
此时将显示 Stream Processing 页面。
Atlas Administration API 提供了一个端点,用于将连接添加到连接注册表。
添加 HTTPS 连接
要为流处理实例添加 HTTPS 连接,请执行以下操作:
目前不支持使用Atlas CLI创建与流处理实例的 HTTPS 连接。
目前不支持使用Atlas用户界面创建与流处理实例的 HTTPS 连接。
Atlas Administration API 提供了一个端点,用于将连接添加到连接注册表。
如果API端点需要身份验证,例如API密钥或持有者访问令牌身份验证,则应在定义连接时将身份验证详细信息添加为标头,以防止在$https
操作符中以明文形式提供这些信息。
目前不支持其他身份验证方案,例如摘要式身份验证或 OAuth。
要学习;了解如何将 HTTPS 连接与Atlas Stream Processing结合使用,请参阅$https
。
示例:
curl --user "<publicApiKey>:<privateApiKey>" --digest \ --header "Content-Type: application/json" \ --header "Accept: application/vnd.atlas.2023-02-01+json" \ --include \ --data '{"name": "HTTPSConnection","type": "Https","url": "<apiBasePath>"}' \ --request POST "https://cloud.mongodb.com/api/atlas/v2/groups/<projectID>/streams/<tenantName>/connections"
从连接注册表修改连接
要从连接注册表修改连接,请执行以下操作:
要使用 Atlas CLI 修改指定的 Atlas Stream Processing 实例上的一个连接的详细信息,请运行以下命令:
atlas streams connections update <connectionName> [options]
要了解有关命令语法和参数的更多信息,请参阅 atlas 流连接更新的 Atlas CLI 文档。
AtlasGoStream Processing在Atlas中,Go项目的 页面。
如果尚未显示,请从导航栏上的 Organizations 菜单中选择包含项目的组织。
如果尚未显示,请从导航栏的 Projects 菜单中选择您的项目。
在侧边栏中,单击 Services 标题下的 Stream Processing。
此时将显示 Stream Processing 页面。
Atlas Administration API 提供用于编辑流处理实例的端点。
删除连接注册表中的连接
要从连接注册表中删除连接,请执行以下操作:
要从使用 Atlas CLI 指定的 Atlas Stream Processing 实例中删除一个连接,请运行以下命令:
atlas streams connections delete <connectionName> [options]
要了解有关命令语法和参数的更多信息,请参阅 Atlas Streams 连接删除的 Atlas CLI 文档。
AtlasGoStream Processing在Atlas中,Go项目的 页面。
如果尚未显示,请从导航栏上的 Organizations 菜单中选择包含项目的组织。
如果尚未显示,请从导航栏的 Projects 菜单中选择您的项目。
在侧边栏中,单击 Services 标题下的 Stream Processing。
此时将显示 Stream Processing 页面。
Atlas Administration API 提供用于编辑流处理实例的端点。
列出专用链接连接
Atlas Administration API提供了一个端点,用于查看指定项目中为Atlas Stream Processing配置的所有专用链接连接。
查看一个专用链接连接
Atlas Administration API提供了一个端点,用于查看为指定项目内的Atlas Stream Processing配置的一个专用链接连接的详细信息。
创建专用链路连接
Atlas Stream Processing目前支持创建与 AWS 上托管的 Azure和 Confluence 集群的专用链接连接。
要创建用于Atlas Stream Processing项目的 Private Link 连接,请执行以下操作:
重要
配置 Confluence集群。
您必须配置 Confluence集群以接受来自Atlas项目的传入连接。
重要
Confluent 仅接受来自 AWS 的传入连接。要使用 Confluent Private Link 连接,您必须在 AWS 上托管流处理实例。
调用返回群组和地区的Atlas Administration API端点的帐户ID和VPC ID 。请记下
awsAccountId
的值,您将在后续步骤中用到它。在您的 Confluence 帐户中,导航到要连接的集群。在集群网络界面中,导航到集群网络详细信息。
对于 Confluence专用集群,请提供您选择的名称。对于 AWS 帐号,提供您之前记下的awsAccountId
字段的值。
注意
Confluence无服务器集群不需要此步骤。
请求连接到您的云提供商。
Atlas Administration API提供一个端点,用于请求为Atlas Stream Processing配置的 Private Link 连接。
对于 AWS Private Link 连接,您必须设立以下键值对:
键 | 值 |
---|---|
| Confluent 集群的 VPC Endpoint service name。 |
| Confluent集群上引导服务器的完全限定域名。 |
| 如果您的集群不使用子域,则必须将其设立为空大量 |
您可以在 Confluence 集群的网络详细信息中找到这些值。
以下示例命令请求连接到 Confluence集群并说明了典型的响应:
curl --location 'https://cloud.mongodb.com/api/atlas/v2/groups/8358217d3abb5c76c3434648/streams/privateLinkConnections' \ --digest \ --user "slrntglrbn:933fb118-ac62-4991-db05-ee67a3481fde" \ --header 'Content-Type: application/json' \ --header 'Accept: application/vnd.atlas.2023-02-01+json' \ --data '{ "vendor": "Confluent", "provider": "AWS", "region": "us_east_1", "serviceEndpointId": "com.amazonaws.vpce.us-east-1.vpce-svc-93da685022ee702a9", "dnsDomain": "sample.us-east-1.aws.confluent.cloud", "dnsSubDomain: [ "use1-az1.sample.us-east-1.aws.confluent.cloud", "use1-az2.sample.us-east-1.aws.confluent.cloud", "use1-az4.sample.us-east-1.aws.confluent.cloud" ] }'
{"_id":"6aa12e7ccd660d4b2380b1c1","dnsDomain":"sample.us-east-1.aws.confluent.cloud.","vendor":"Confluent","provider":"AWS","region":"us_east_1","serviceEndpointId":"com.amazonaws.vpce.us-east-1.vpce-svc-93da685022ee702a9"}
发送请求后,请记下响应正文中 _id
字段的值。您将在后续步骤中用到它。
创建 Atlas 端连接。
键 | 值 |
---|---|
| 云提供商的Kafka引导服务器的IP解决。 |
|
|
|
|
| |
| |
|
|
|
|
|
|
根据需要设置所有其他值。
以下示例命令在Atlas中创建Apache Kafka连接:
curl --location 'https://cloud.mongodb.com/api/atlas/v2/groups/8358217d3abb5c76c3434648/streams/spinstance/connections' \ --digest \ --user "slrntglrbn:933fb118-ac62-4991-db05-ee67a3481fde" \ --header 'Content-Type: application/json' \ --header 'Accept: application/vnd.atlas.2023-02-01+json' \ --data '{ "name": "confluent_demo", "bootstrapServers": "slr-ntgrbn.sample.us-east-1.aws.confluent.cloud:9092", "security": { "protocol": "SASL_SSL" }, "authentication": { "mechanism": "PLAIN", "password": "apiSecretDemo", "username": "apiUserDemo" }, "type": "Kafka", "networking": { "access": { "type": "PRIVATE_LINK", "connectionId": "38972b0cbe9c2aa40a30a246" } } }'
请求连接到您的云提供商。
Atlas Administration API提供一个端点,用于请求为Atlas Stream Processing配置的 Private Link 连接。
对于Azure Private Link连接,必须设立以下键值对:
键 | 值 |
---|---|
| |
|
以下示例命令请求连接到Azure事件中心并说明了典型的响应:
curl --location 'https://cloud.mongodb.com/api/atlas/v2/groups/8358217d3abb5c76c3434648/streams/privateLinkConnections' \ --digest \ --user "slrntglrbn:933fb118-ac62-4991-db05-ee67a3481fde" \ --header 'Content-Type: application/json' \ --header 'Accept: application/vnd.atlas.2023-02-01+json' \ --data '{ "provider": "AZURE", "region": "US_EAST_2", "serviceEndpointId": "/subscriptions/b82d6aa0-0b0a-ffa3-7c22-e167dc44f5b0/resourceGroups/asp/providers/Microsoft.EventHub/namespaces/sample", "dnsDomain": "sample.servicebus.windows.net" }'
{"_id":"6aa12e7ccd660d4b2380b1c1","dnsDomain":"sample.servicebus.windows.net","provider":"AZURE","region":"US_EAST_2","serviceEndpointId":"/subscriptions/b82d6aa0-0b0a-ffa3-7c22-e167dc44f5b0/resourceGroups/asp/providers/Microsoft.EventHub/namespaces/sample"}
发送请求后,请记下响应正文中 _id
字段的值。您将在后续步骤中用到它。
在您的云提供商帐户中接受请求的连接。
对于到Azure的 Private Link 连接,请导航到事件中心网络页面并选择Private endpoint connections 标签页。在连接表中,确定新请求的连接并予以批准。
创建 Atlas 端连接。
键 | 值 |
---|---|
| 云提供商的Kafka引导服务器的IP解决。 |
|
|
|
|
| |
|
|
|
|
|
|
|
|
根据需要设置所有其他值。
以下示例命令在Atlas中创建Apache Kafka连接:
curl --location 'https://cloud.mongodb.com/api/atlas/v2/groups/8358217d3abb5c76c3434648/streams/spinstance/connections' \ --digest \ --user "slrntglrbn:933fb118-ac62-4991-db05-ee67a3481fde" \ --header 'Content-Type: application/json' \ --header 'Accept: application/vnd.atlas.2023-02-01+json' \ --data '{ "name": "eventhubpl33333", "bootstrapServers": "sample.servicebus.windows.net:9093", "security": { "protocol": "SASL_SSL" }, "authentication": { "mechanism": "PLAIN", "password": "Endpoint=sb://sample.servicebus.windows.net/;SharedAccessKeyName=RootManageSharedAccessKey;SharedAccessKey=Irlo3OoRkc27T3ZoGOlbhEOqXQRXzb12+Q2hNXm0lc=", "username": "$ConnectionString" }, "type": "Kafka", "networking": { "access": { "type": "PRIVATE_LINK", "connectionId": "38972b0cbe9c2aa40a30a246" } } }'
删除专用链接连接
Atlas Administration API提供了一个端点,用于删除为指定项目内的Atlas Stream Processing配置的专用链接连接。