Atlas Stream Processing の管理
Atlas Kubernetes Operator を使用して、Atlas Stream Processing のストリーム プロセシング インスタンスと接続を管理できます。 Atlas Stream Processing を使用すると、Atlas データベースで使用されるのと同じ MongoDB Query APIを使用して、複雑なデータのストリームを処理できます。 Atlas Stream Processing を使用すると、次のタスクを実行できます。
ストリーミング データをバッチ処理に固有の遅延なしに継続的に動作させるための集計パイプラインを構築します。
継続的なスキーマ検証を実行して、メッセージが適切に作成されているかどうか、メッセージの破損を検出、遅延データの検出を行います。
Atlas コレクションまたは Apache Kafka に結果を継続的に公開する クラスター、最新のビューとデータの分析を保証します。
Atlas Stream Processing コンポーネントは Atlas プロジェクトに直接属し、Atlas クラスターとは独立して動作します。 詳しくは、「 Atlas Stream Processing の概要 」を参照してください。
Atlas Stream Processing インスタンスと接続
Atlas Stream Processing インスタンスは、ストリーミング データに対するすべての操作のコンテキストを提供します。 サンプル接続、 Atlas Change Stream への接続、または Apache Kafka への接続を構成できます システム参照してください。次に、ストリーム プロセシング インスタンスの 接続レジストリ に接続を追加できます。 詳しくは、「 Atlas Stream Processing インスタンスの管理 」を参照してください。
前提条件
Atlas Kubernetes Operator を使用してストリーム処理インスタンスと接続を管理するには、次の手順を実行する必要があります。
Atlas user
Project Owner
Project Stream Processing Owner
接続レジストリとストリーム プロセシング インスタンスを管理するには、 {3 または ロールを持つ が必要です。2 つのロールの違いの詳細については、「プロジェクト ロール 」を参照してください。Atlas Kubernetes Operator が配置された実行中の Kubernetes クラスターを用意します。
IPアドレスが組織のAPIアクセス リストにあることを確認します。
手順
Atlas Kubernetes Operator を使用してストリームプロセシングインスタンスとその接続を管理するには、次の手順を実行します。
AtlasStreamInstance
カスタムリソースを設定します。
例:
cat <<EOF | kubectl apply -f - apiVersion: atlas.mongodb.com/v1 kind: AtlasStreamInstance metadata: name: my-stream-instance spec: name: my-stream-instance clusterConfig: provider: AWS region: VIRGINIA_USA tier: SP30 projectRef: name: my-project EOF
利用可能なパラメータの詳細については、 AtlasStreamInstance
カスタム リソースを参照してください。
注意
現在、Atlas Kubernetes Operator は、このカスタム リソースのAWS
プロバイダーとVIRGINIA_USA
リージョンのみをサポートしています。
AtlasStreamConnection
カスタムリソースを設定します。
サンプル接続、 Atlas Change Stream への接続、または Apache Kafka への接続を構成できます システム参照してください。
例:
apiVersion: atlas.mongodb.com/v1 kind: AtlasStreamConnection metadata: name: my-stream-connection spec: name: sample_stream_solar type: Sample
注意
spec.type
パラメータにSample
を指定する場合、 spec.name
パラメータはサンプル コレクション名と一致する必要があります。 現在、Atlas Kubernetes Operator は、このカスタム リソースのsample_stream_solar
サンプル コレクションのみをサポートしています。
apiVersion: atlas.mongodb.com/v1 kind: AtlasStreamConnection metadata: name: my-stream-connection spec: name: my-stream-connection type: Cluster clusterConfig: name: my-cluster role: name: my-db-role type: CUSTOM
apiVersion: atlas.mongodb.com/v1 kind: AtlasStreamConnection metadata: name: my-stream-connection spec: name: my-stream-connection type: Kafka kafkaConfig: bootstrapServers: "comma,separated,list,of,server,addresses" authentication: mechanism: SCRAM-512 credentials: name: ref-to-creds-secret namespace: default security: protocol: SSL certificate: name: ref-to-certificate-secret namespace: default
利用可能なパラメータの詳細については、 AtlasStreamConnection
カスタム リソースを参照してください。
カスタム リソースAtlasStreamInstance
の接続レジストリに接続を追加します。
例:
cat <<EOF | kubectl apply -f - apiVersion: atlas.mongodb.com/v1 kind: AtlasStreamInstance metadata: name: my-stream-instance spec: name: my-stream-instance clusterConfig: provider: AWS region: VIRGINIA_USA tier: SP30 projectRef: name: my-project connectionRegistry: - name: ref-my-connection-1 namespace: my-namespace1 - name: ref-my-connection-2 namespace: my-namespace2 - name: ref-my-connection-3 namespace: my-namespace1 EOF
注意
現在、Atlas Kubernetes Operator は、このカスタム リソースのAWS
プロバイダーとVIRGINIA_USA
リージョンのみをサポートしています。
利用可能なパラメータの詳細については、 AtlasStreamInstance
カスタム リソースを参照してください。