制限

Atlas Stream Processing には次の制限が適用されます。

すべてのストリームプロセシングインスタンスの合計 state.stateSizeは、同じ SPI 階層のワーカーが使用可能な RAM の80 % を超えることはできません。たとえば、ワーカーごとに8 GB の RAM を搭載するSP30階層のストリームプロセッサの最大サイズは、 6.4 GB です。いずれかのストリームプロセッサのstate.stateSizeが同じ SPI 階層のワーカーで使用可能な RAM の80 % に近づく場合は、次の SPI 階層に移動します。
80 % RAM のしきい値を超えると、すべてのストリームプロセッサがstream processing instance out of memoryエラーで失敗します。各ストリームプロセッサのstate.stateSize値は、 sp.processor.stats()コマンドで表示できます。詳しくは、「ストリームプロセッサの統計情報を表示する」を参照してください。
Atlas Stream Processing インスタンスは、ソースまたはシンクと同じプロジェクト内のクラスターのみを使用できます。
Atlas Stream Processing パイプラインの定義は16 MB を超えることはできません。
Project OwnerまたはAtlas adminロールを持つユーザーのみが Atlas Stream Processing を使用できます。

Atlas Stream Processing は現在、次の接続タイプのみをサポートしています。

接続タイプ	使用法
Apache Kafka	Source または Sink
Atlas Database	Source または Sink
サンプル接続	ソースのみ

Atlas Stream Processingを使用しApacheKafka の場合、ApacheKafka $source として実行中のプロセッサに $source として機能するトピックがパーティションを追加した場合、Atlas Stream Processing はパーティションを読み込まずに実行を続行します。プロセッサは、障害後にチェックポイントから復元した後に新しいパーティションを検出するか、停止してから再起動すると失敗します。新しく追加されたパーティションを使用して、トピックから読み取るプロセッサを再作成する必要があります。
Atlas Stream Processing は現在、JSON 形式のデータのみをサポートしています。現在、Avro やプロトコルバッファーなどの代替直列化はサポートされていません。
Apache Kafka の場合接続では、Atlas Stream Processing は現在、次のセキュリティプロトコルのみをサポートしています。
- PLAINTEXT
- SASL_PLAINTEXT
- SASL_SSL
Atlas Stream Processing は現在、カスタム SSL 証明書をサポートしていません。
SASLの場合、Atlas Stream Processing は次のメカニズムをサポートしています。
- PLAIN
- SCRAM-SHA-256
- SCRAM-SHA-512
Atlas Stream Processing は$function JavaScript UTFをサポートしていません。
Atlas Stream Processing は、Atlas で利用可能な集計パイプラインステージのサブセットをサポートしており、保管中のデータで実行できる操作をストリーミングデータに対して多数実行できます。サポートされている集計パイプラインステージの完全なリストについては、ストリーム集計のドキュメントを参照してください。

戻る

モニタリング

変更履歴