限制

以下限制适用于 Atlas Stream Processing：

• Atlas Stream Processing 目前仅在 US-EAST-1地区的 AWS上可用。 这仅适用于流处理实例本身；您的流处理器仍然可以读取和写入托管在不同云提供商或不同区域中的集群，前提是它们与流处理实例位于同一项目中。

• 所有流处理实例的state.stateSize总和不能超过同一 SPI 层中工作线程可用 RAM 的80 %。例如，每个工作线程具有8 GB RAM 的SP30层中流处理器的最大大小为6 。 4 GB。如果任何流处理器的state.stateSize接近同一 SPI 层中工作线程可用 RAM 的80 %，请升级到下一个 SPI 层。

  当超过80 % RAM 阈值时，所有流处理器均会失败并显示stream processing instance out of memeory错误。您可以使用sp.processor.stats()命令查看每个流处理器的state.stateSize值。请参阅查看流处理器的统计信息以了解更多信息。

• 流处理实例只能使用同一项目中的集群作为源或汇。

• Atlas Stream Processing 管道定义不能超过16 MB。

• 只有具有Project Owner或Atlas admin角色的用户才能使用 Atlas Stream Processing。

• Atlas Stream Processing 目前仅支持以下连接类型：

• Atlas Stream Processing 目前仅支持 JSON 格式的数据。 它目前不支持 Avro 或 协议 Buffers 等替代序列化。

• 对于 Apache Kafka 连接，Atlas Stream Processing 目前仅支持以下安全协议：

  • PLAINTEXT

  • SASL_PLAINTEXT

  • SASL_SSL

  Atlas Stream Processing 目前不支持自定义 SSL 证书。

  对于SASL ，Atlas Stream Processing 支持以下机制：

  • PLAIN

  • SCRAM-SHA-256

  • SCRAM-SHA-512

• Atlas Stream Processing 目前不支持与 Apache Kafka 连接的 VPC 对等互连 。将连接添加到 Apache Kafka 后 集群到连接注册表，您必须将 Atlas IP 地址添加到该集群的访问列表。有关更多信息，请参阅 允许访问 Atlas 控制面或从 Atlas 控制面进行访问。

• Atlas Stream Processing 不支持$function JavaScript UDF 。