Gerenciar Atlas Stream Processing
Você pode utilizar Atlas Kubernetes Operator para gerenciar instâncias e conexões do Atlas Stream Atlas Stream Processing para o Atlas Stream Processing. O Atlas Stream Processing permite a você processar streams de dados complexos usando a mesmaAPI de query do MongoDB que os bancos de dados do Atlas usam. O Atlas Stream Processing permite que você execute as seguintes tarefas:
Crie aggregation pipelines para operar continuamente na transmissão de dados sem os atrasos inerentes ao processamento em lote.
Realize a validação contínua do esquema para verificar se as mensagens estão formadas corretamente, detecte a corrupção da mensagem e detecte a chegada atrasada de dados.
Publicar continuamente resultados nas collections do Atlas ou no Apache Kafka clusters, garantindo visualizações e análises atualizadas dos dados.
Os componentes do Atlas Stream Processing pertencem diretamente aos projetos do Atlas e operam independentemente dos clusters do Atlas. Para saber mais, consulte Visão geralAtlas Stream Processing .
Instâncias e conexões do Atlas Stream Processing
As instâncias do Atlas Stream Processing fornecem o contexto para todas as suas operações de streaming de dados. Você pode configurar uma conexão de amostra, uma conexão com um fluxo de alterações do Atlas ou uma conexão com um Apache Kafka sistema. Em seguida, você pode adicionar a conexão ao Registro de conexão para sua instância de processamento de fluxo. Para saber mais, consulte Gerenciar Instâncias de Processamento de Stream.
Pré-requisitos
Para utilizar Atlas Kubernetes Operator para gerenciar instâncias e conexões de Atlas Stream Processing , você deve:
Tenha um Atlas user com a função
Project OwnerouProject Stream Processing Ownerpara gerenciar um Registro de Conexão e uma Instância de Atlas Stream Processing . Para saber mais sobre as diferenças entre as duas funções, consulte Funções do projeto.Tenha um cluster Kubernetes em execução com o Atlas Kubernetes Operator implantado.
Garanta que seu endereço IP esteja na lista de acesso à API da organização.
Procedimento
Para utilizar Atlas Kubernetes Operator para gerenciar uma instância do Atlas Stream Processing e suas conexões, faça as seguintes etapas:
Configure o AtlasStreamInstance Recurso personalizado.
Exemplo:
cat <<EOF | kubectl apply -f - apiVersion: atlas.mongodb.com/v1 kind: AtlasStreamInstance metadata: name: my-stream-instance spec: name: my-stream-instance clusterConfig: provider: AWS region: VIRGINIA_USA tier: SP30 projectRef: name: my-project EOF
Para saber mais sobre os parâmetros disponíveis, consulte o AtlasStreamInstance Recurso Personalizado .
Observação
Atualmente, o Atlas Kubernetes Operator suporta somente o fornecedor AWS e a região VIRGINIA_USA para este recurso personalizado.
Configure o AtlasStreamConnection Recurso personalizado.
Você pode configurar uma conexão de amostra, uma conexão com um fluxo de alterações do Atlas ou uma conexão com um Apache Kafka sistema.
Exemplos:
apiVersion: atlas.mongodb.com/v1 kind: AtlasStreamConnection metadata: name: my-stream-connection spec: name: sample_stream_solar type: Sample
Observação
Se você especificar Sample para o parâmetro spec.type , o parâmetro spec.name deverá corresponder ao nome da collection de amostra. Atualmente, o Atlas Kubernetes Operator suporta somente a collection de amostra sample_stream_solar para este recurso personalizado.
apiVersion: atlas.mongodb.com/v1 kind: AtlasStreamConnection metadata: name: my-stream-connection spec: name: my-stream-connection type: Cluster clusterConfig: name: my-cluster role: name: my-db-role type: CUSTOM
apiVersion: atlas.mongodb.com/v1 kind: AtlasStreamConnection metadata: name: my-stream-connection spec: name: my-stream-connection type: Kafka kafkaConfig: bootstrapServers: "comma,separated,list,of,server,addresses" authentication: mechanism: SCRAM-512 credentials: name: ref-to-creds-secret namespace: default security: protocol: SSL certificate: name: ref-to-certificate-secret namespace: default
Para saber mais sobre os parâmetros disponíveis, consulte o AtlasStreamConnection Recurso Personalizado .
Adicione suas conexões ao Registro de conexão no AtlasStreamInstance Recurso personalizado.
Exemplo:
cat <<EOF | kubectl apply -f - apiVersion: atlas.mongodb.com/v1 kind: AtlasStreamInstance metadata: name: my-stream-instance spec: name: my-stream-instance clusterConfig: provider: AWS region: VIRGINIA_USA tier: SP30 projectRef: name: my-project connectionRegistry: - name: ref-my-connection-1 namespace: my-namespace1 - name: ref-my-connection-2 namespace: my-namespace2 - name: ref-my-connection-3 namespace: my-namespace1 EOF
Observação
Atualmente, o Atlas Kubernetes Operator suporta somente o fornecedor AWS e a região VIRGINIA_USA para este recurso personalizado.
Para saber mais sobre os parâmetros disponíveis, consulte o AtlasStreamInstance Recurso Personalizado .