Atlas Stream Processing관리
이 페이지의 내용
Atlas Kubernetes Operator 를 사용하여 Atlas Stream Processing 인스턴스 및 Atlas Stream Processing 연결을 관리할 수 있습니다. Atlas Stream Processing을 사용하면 Atlas 데이터베이스에서 사용하는 것과 동일한 MongoDB Query API 를 사용하여 복잡한 데이터의 스트림을 처리할 수 있습니다. Atlas Stream Processing을 사용하면 다음 작업을 수행할 수 있습니다.
집계 파이프라인 을 구축하여 배치 처리에 내재된 지연 없이 스트리밍 데이터에서 지속적으로 작동할 수 있습니다.
지속적인 스키마 유효성 검사 를 수행하여 메시지가 올바르게 구성되었는지 확인하고, 메시지 손상을 감지하고, 늦게 도착하는 데이터를 감지합니다.
결과를 Atlas 컬렉션 또는 Apache Kafka 에 지속적으로 게시 클러스터를 생성하여 데이터에 대한 최신 보기와 분석을 보장합니다.
Atlas Stream Processing 구성 요소는 Atlas 프로젝트에 직접 속하며, Atlas 클러스터와 독립적으로 작동합니다. 자세히 알아보려면 Atlas Stream Processing 개요를 참조하세요.
Atlas Stream 처리 인스턴스 및 연결
Atlas Stream Processing 인스턴스는 스트리밍 데이터에 대한 모든 작업에 대한 컨텍스트를 제공합니다. 샘플 연결, Atlas 변경 스트림 에 대한 연결 또는 Apache Kafka 에 대한 연결을 구성할 수 있습니다. 시스템. 그런 다음 스트림 처리 인스턴스의 연결 레지스트리에 연결을 추가할 수 있습니다. 자세히 알아보려면 스트림 처리 인스턴스 관리를 참조하세요.
전제 조건
Atlas Kubernetes Operator 를 사용하여 Atlas Stream Processing 인스턴스 및 연결을 관리하려면 다음을 수행해야 합니다.
또는 Atlas user
Project OwnerProject Stream Processing Owner역할이 있는 가 연결 레지스트리 및 Atlas Stream Processing 인스턴스를 관리하도록 합니다. 두 역할의 차이점에 대해 자세히 알아보려면 프로젝트 역할을 참조하세요.Atlas Kubernetes Operator 이 배포된 실행 중인 Kubernetes 클러스터가 있어야 합니다.
IP 주소가 조직의 API 액세스 목록에 있는지 확인합니다.
절차
Atlas Kubernetes Operator 를 사용하여 Atlas Stream Processing 인스턴스 및 해당 연결을 관리하려면 다음 단계를 수행하세요.
AtlasStreamInstance Custom Resource(사용자 지정 리소스) 를 구성합니다.
예시:
cat <<EOF | kubectl apply -f - apiVersion: atlas.mongodb.com/v1 kind: AtlasStreamInstance metadata: name: my-stream-instance spec: name: my-stream-instance clusterConfig: provider: AWS region: VIRGINIA_USA tier: SP30 projectRef: name: my-project EOF
사용 가능한 매개변수에 대해 자세히 알아보려면 AtlasStreamInstance 사용자 지정 리소스를 참조하세요.
참고
현재 Atlas Kubernetes Operator는 이 사용자 지정 리소스에 대해 AWS 제공자 및 VIRGINIA_USA 리전만 지원합니다.
AtlasStreamConnection Custom Resource(사용자 지정 리소스) 를 구성합니다.
샘플 연결, Atlas 변경 스트림 에 대한 연결 또는 Apache Kafka 에 대한 연결을 구성할 수 있습니다. 시스템.
예시:
apiVersion: atlas.mongodb.com/v1 kind: AtlasStreamConnection metadata: name: my-stream-connection spec: name: sample_stream_solar type: Sample
참고
spec.type 매개변수에 Sample 을 지정하는 경우 spec.name 매개변수는 샘플 컬렉션 이름과 일치해야 합니다. 현재 Atlas Kubernetes Operator는 이 사용자 지정 리소스에 대해 sample_stream_solar 샘플 컬렉션만 지원합니다.
apiVersion: atlas.mongodb.com/v1 kind: AtlasStreamConnection metadata: name: my-stream-connection spec: name: my-stream-connection type: Cluster clusterConfig: name: my-cluster role: name: my-db-role type: CUSTOM
apiVersion: atlas.mongodb.com/v1 kind: AtlasStreamConnection metadata: name: my-stream-connection spec: name: my-stream-connection type: Kafka kafkaConfig: bootstrapServers: "comma,separated,list,of,server,addresses" authentication: mechanism: SCRAM-512 credentials: name: ref-to-creds-secret namespace: default security: protocol: SSL certificate: name: ref-to-certificate-secret namespace: default
사용 가능한 매개변수에 대해 자세히 알아보려면 AtlasStreamConnection 사용자 지정 리소스를 참조하세요.
AtlasStreamInstance 사용자 지정 리소스 에서 연결 레지스트리에 대한 연결을 추가합니다.
예시:
cat <<EOF | kubectl apply -f - apiVersion: atlas.mongodb.com/v1 kind: AtlasStreamInstance metadata: name: my-stream-instance spec: name: my-stream-instance clusterConfig: provider: AWS region: VIRGINIA_USA tier: SP30 projectRef: name: my-project connectionRegistry: - name: ref-my-connection-1 namespace: my-namespace1 - name: ref-my-connection-2 namespace: my-namespace2 - name: ref-my-connection-3 namespace: my-namespace1 EOF
참고
현재 Atlas Kubernetes Operator는 이 사용자 지정 리소스에 대해 AWS 제공자 및 VIRGINIA_USA 리전만 지원합니다.
사용 가능한 매개변수에 대해 자세히 알아보려면 AtlasStreamInstance 사용자 지정 리소스를 참조하세요.