Menu Docs

Gerenciar Atlas Stream Processing

Você pode utilizar Atlas Kubernetes Operator para gerenciar instâncias e conexões do Atlas Stream Atlas Stream Processing para o Atlas Stream Processing. O Atlas Stream Processing permite processar streams de dados complexos usando a mesma API de query do MongoDB que os bancos de dados Atlas usam. O Atlas Stream Processing permite que você execute as seguintes tarefas:

  • Crie aggregation pipelines para operar continuamente na transmissão de dados sem os atrasos inerentes ao processamento em lote.

  • Realize a validação contínua do esquema para verificar se as mensagens estão formadas corretamente, detecte a corrupção da mensagem e detecte a chegada atrasada de dados.

  • Publicar continuamente resultados nas coleções do Atlas ou Apache Kafka clusters, garantindo visualizações e análises atualizadas dos dados.

Os componentes do Atlas Stream Processing pertencem diretamente aos projetos do Atlas e operam independentemente dos clusters do Atlas. Para saber mais, consulte Visão geralAtlas Stream Processing .

Atlas Stream Processing instances provide the context for all of your operations on streaming data. You can configure a sample connection, a connection to an Atlas change stream, or a connection to an Apache Kafka system. Then you can add the connection to the Connection Registry for your stream processing instance. To learn more, see Gerencie instâncias de processamento de fluxo.

Para utilizar Atlas Kubernetes Operator para gerenciar instâncias e conexões de Atlas Stream Processing , você deve:

Para utilizar Atlas Kubernetes Operator para gerenciar uma instância do Atlas Stream Processing e suas conexões, faça as seguintes etapas:

1

Exemplo:

cat <<EOF | kubectl apply -f -
apiVersion: atlas.mongodb.com/v1
kind: AtlasStreamInstance
metadata:
name: my-stream-instance
spec:
name: my-stream-instance
clusterConfig:
provider: AWS
region: VIRGINIA_USA
tier: SP30
projectRef:
name: my-project
EOF

Para saber mais sobre os parâmetros disponíveis, consulte o AtlasStreamInstance Recurso Personalizado .

Observação

Atualmente, o Atlas Kubernetes Operator suporta somente o fornecedor AWS e a região VIRGINIA_USA para este recurso personalizado.

2

Você pode configurar uma conexão de amostra, uma conexão com um fluxo de alterações do Atlas ou uma conexão com um Apache Kafka sistema.

Exemplos:

apiVersion: atlas.mongodb.com/v1
kind: AtlasStreamConnection
metadata:
name: my-stream-connection
spec:
name: sample_stream_solar
type: Sample

Observação

Se você especificar Sample para o parâmetro spec.type , o parâmetro spec.name deverá corresponder ao nome da collection de amostra. Atualmente, o Atlas Kubernetes Operator suporta somente a collection de amostra sample_stream_solar para este recurso personalizado.

apiVersion: atlas.mongodb.com/v1
kind: AtlasStreamConnection
metadata:
name: my-stream-connection
spec:
name: my-stream-connection
type: Cluster
clusterConfig:
name: my-cluster
role:
name: my-db-role
type: CUSTOM
apiVersion: atlas.mongodb.com/v1
kind: AtlasStreamConnection
metadata:
name: my-stream-connection
spec:
name: my-stream-connection
type: Kafka
kafkaConfig:
bootstrapServers: "comma,separated,list,of,server,addresses"
authentication:
mechanism: SCRAM-512
credentials:
name: ref-to-creds-secret
namespace: default
security:
protocol: SSL
certificate:
name: ref-to-certificate-secret
namespace: default

Para saber mais sobre os parâmetros disponíveis, consulte o AtlasStreamConnection Recurso Personalizado .

3

Exemplo:

cat <<EOF | kubectl apply -f -
apiVersion: atlas.mongodb.com/v1
kind: AtlasStreamInstance
metadata:
name: my-stream-instance
spec:
name: my-stream-instance
clusterConfig:
provider: AWS
region: VIRGINIA_USA
tier: SP30
projectRef:
name: my-project
connectionRegistry:
- name: ref-my-connection-1
namespace: my-namespace1
- name: ref-my-connection-2
namespace: my-namespace2
- name: ref-my-connection-3
namespace: my-namespace1
EOF

Observação

Atualmente, o Atlas Kubernetes Operator suporta somente o fornecedor AWS e a região VIRGINIA_USA para este recurso personalizado.

Para saber mais sobre os parâmetros disponíveis, consulte o AtlasStreamInstance Recurso Personalizado .