制限

Atlas Stream Processing には次の制限が適用されます。

• すべてのストリーム プロセシング インスタンスの合計 state.stateSizeは、同じ SPI 階層のワーカーが使用可能な RAM の80 % を超えることはできません。 たとえば、ワーカーごとに8 GB の RAM を搭載するSP30階層のストリーム プロセッサの最大サイズは、 6.4 GB です。 いずれかのストリーム プロセッサのstate.stateSizeが同じ SPI 階層のワーカーで使用可能な RAM の80 % に近づく場合は、次の SPI 階層に移動します。

  80 % RAM のしきい値を超えると、すべてのストリーム プロセッサがstream processing instance out of memeoryエラーで失敗します。 各ストリーム プロセッサのstate.stateSize値は、 sp.processor.stats()コマンドで表示できます。 詳しくは、「 ストリーム プロセッサの統計情報を表示する」を参照してください。

• Atlas Stream Processing インスタンスは、ソースまたはシンクと同じプロジェクト内のクラスターのみを使用できます。

• Atlas Stream Processing パイプラインの定義は16 MB を超えることはできません。

• Project OwnerまたはAtlas adminロールを持つユーザーのみが Atlas Stream Processing を使用できます。

• Atlas Stream Processing は現在、次の接続タイプのみをサポートしています。

  接続タイプ	使用法
  Apache Kafka	Source または Sink
  Atlas Database	Source または Sink
  サンプル接続	ソースのみ

• Atlas Stream Processingを使用しApacheKafka の場合、ApacheKafka $source として 実行中のプロセッサに $source として機能するトピックがパーティションを追加した場合、Atlas Stream Processing はパーティションを読み込まずに実行を続行します。プロセッサは、障害後にチェックポイントから復元した後に新しいパーティションを検出するか、停止してから再起動すると失敗します。 新しく追加されたパーティションを使用して、トピックから読み取るプロセッサを再作成する必要があります。

• Atlas Stream Processing は現在、JSON 形式のデータのみをサポートしています。 現在、Avro やプロトコル バッファーなどの代替直列化はサポートされていません。

• Apache Kafka の場合 接続では、Atlas Stream Processing は現在、次のセキュリティ プロトコルのみをサポートしています。

  • PLAINTEXT

  • SASL_PLAINTEXT

  • SASL_SSL

  Atlas Stream Processing は現在、カスタム SSL 証明書をサポートしていません。

  SASLの場合、Atlas Stream Processing は次のメカニズムをサポートしています。

  • PLAIN

  • SCRAM-SHA-256

  • SCRAM-SHA-512

• Atlas Stream Processing は$function JavaScript UTFをサポートしていません。

• Atlas Stream Processing は、Atlas で利用可能な 集計パイプライン ステージ のサブセットをサポートしており、保管中のデータで実行できる操作をストリーミング データに対して多数実行できます。 サポートされている集計パイプライン ステージの完全なリストについては、ストリーム集計 のドキュメントを参照してください。