Gerenciar Atlas Stream Processing
Você pode utilizar Atlas Kubernetes Operator para gerenciar instâncias e conexões do Atlas Stream Atlas Stream Processing para o Atlas Stream Processing. O Atlas Stream Processing permite processar streams de dados complexos usando a mesma API de query do MongoDB que os bancos de dados Atlas usam. O Atlas Stream Processing permite que você execute as seguintes tarefas:
Crie aggregation pipelines para operar continuamente na transmissão de dados sem os atrasos inerentes ao processamento em lote.
Realize a validação contínua do esquema para verificar se as mensagens estão formadas corretamente, detecte a corrupção da mensagem e detecte a chegada atrasada de dados.
Publicar continuamente resultados nas coleções do Atlas ou Apache Kafka clusters, garantindo visualizações e análises atualizadas dos dados.
Os componentes do Atlas Stream Processing pertencem diretamente aos projetos do Atlas e operam independentemente dos clusters do Atlas. Para saber mais, consulte Visão geralAtlas Stream Processing .
Instâncias e conexões do Atlas Stream Processing
Atlas Stream Processing instances provide the context for all of your operations on streaming data. You can configure a sample connection, a connection to an Atlas change stream, or a connection to an Apache Kafka system. Then you can add the connection to the Connection Registry for your stream processing instance. To learn more, see Gerencie instâncias de processamento de fluxo.
Pré-requisitos
Para utilizar Atlas Kubernetes Operator para gerenciar instâncias e conexões de Atlas Stream Processing , você deve:
Tenha um Atlas user com o papel
Project Owner
ouProject Stream Processing Owner
para gerenciar um Registro de Conexão e uma Instância de Atlas Stream Processing . Para saber mais sobre as diferenças entre as duas funções, consulte Funções do projeto.Ter um cluster Kubernetes em execução com o Atlas Kubernetes Operator distribuído.
Verifique se o seu endereço IP está na lista de acesso à API da organização.
Procedimento
Para utilizar Atlas Kubernetes Operator para gerenciar uma instância do Atlas Stream Processing e suas conexões, faça as seguintes etapas:
Configure o AtlasStreamInstance
Recurso personalizado.
Exemplo:
cat <<EOF | kubectl apply -f - apiVersion: atlas.mongodb.com/v1 kind: AtlasStreamInstance metadata: name: my-stream-instance spec: name: my-stream-instance clusterConfig: provider: AWS region: VIRGINIA_USA tier: SP30 projectRef: name: my-project EOF
Para saber mais sobre os parâmetros disponíveis, consulte o AtlasStreamInstance
Recurso Personalizado .
Observação
Atualmente, o Atlas Kubernetes Operator suporta somente o fornecedor AWS
e a região VIRGINIA_USA
para este recurso personalizado.
Configure o AtlasStreamConnection
Recurso personalizado.
Você pode configurar uma conexão de amostra, uma conexão com um fluxo de alterações do Atlas ou uma conexão com um Apache Kafka sistema.
Exemplos:
apiVersion: atlas.mongodb.com/v1 kind: AtlasStreamConnection metadata: name: my-stream-connection spec: name: sample_stream_solar type: Sample
Observação
Se você especificar Sample
para o parâmetro spec.type
, o parâmetro spec.name
deverá corresponder ao nome da collection de amostra. Atualmente, o Atlas Kubernetes Operator suporta somente a collection de amostra sample_stream_solar
para este recurso personalizado.
apiVersion: atlas.mongodb.com/v1 kind: AtlasStreamConnection metadata: name: my-stream-connection spec: name: my-stream-connection type: Cluster clusterConfig: name: my-cluster role: name: my-db-role type: CUSTOM
apiVersion: atlas.mongodb.com/v1 kind: AtlasStreamConnection metadata: name: my-stream-connection spec: name: my-stream-connection type: Kafka kafkaConfig: bootstrapServers: "comma,separated,list,of,server,addresses" authentication: mechanism: SCRAM-512 credentials: name: ref-to-creds-secret namespace: default security: protocol: SSL certificate: name: ref-to-certificate-secret namespace: default
Para saber mais sobre os parâmetros disponíveis, consulte o AtlasStreamConnection
Recurso Personalizado .
Adicione suas conexões ao Registro de conexão no AtlasStreamInstance
Recurso personalizado.
Exemplo:
cat <<EOF | kubectl apply -f - apiVersion: atlas.mongodb.com/v1 kind: AtlasStreamInstance metadata: name: my-stream-instance spec: name: my-stream-instance clusterConfig: provider: AWS region: VIRGINIA_USA tier: SP30 projectRef: name: my-project connectionRegistry: - name: ref-my-connection-1 namespace: my-namespace1 - name: ref-my-connection-2 namespace: my-namespace2 - name: ref-my-connection-3 namespace: my-namespace1 EOF
Observação
Atualmente, o Atlas Kubernetes Operator suporta somente o fornecedor AWS
e a região VIRGINIA_USA
para este recurso personalizado.
Para saber mais sobre os parâmetros disponíveis, consulte o AtlasStreamInstance
Recurso Personalizado .