Limitações

As seguintes limitações se aplicam ao Atlas Stream Processing:

• O state.stateSize combinado de todas as instâncias de processamento de fluxo não pode exceder 80% da RAM disponível para um funcionário no mesmo nível de SPI. Por exemplo, o tamanho máximo de um processador de fluxo na camada SP30 que tem 8GB de RAM por funcionário é de 6.4GB. Se a state.stateSize de qualquer um dos processadores de fluxo estiver se aproximando de 80% da RAM disponível para um trabalhador na mesma camada SPI, vá para a próxima camada SPI.

  Quando o limite de 80% de RAM é ultrapassado, todos os processadores de fluxo falham com um erro stream processing instance out of memory. Você pode visualizar o valor state.stateSize de cada processador de fluxo com o comando sp.processor.stats() . Confira Ver estatísticas de um processador de fluxo para saber mais.

• Uma instância de Atlas Stream Processing pode usar somente clusters no mesmo projeto como fontes ou coletores.

• Uma definição de pipeline do Atlas Stream Processing não pode exceder 16 MB.

• Somente usuários com os roles Project Owner ou Atlas admin podem usar o Atlas Stream Processing.

• Atualmente, o Atlas Stream Processing é compatível apenas com os seguintes tipos de conexão:

  Tipo de conexão	Uso
  Apache Kafka	Fonte ou Coletor
  Banco de Dados Atlas	Fonte ou Coletor
  Conexão de amostra	Apenas fonte

• Para Atlas Stream Processing com Apache Kafka como $source, se o tópico Apache Kafka agir como $source para o processador em execução adicionar uma partição, Atlas Stream Processing o continua em execução sem ler a partição. O processador falha quando detecta a nova partição depois de restaurá-la de um ponto de verificação após uma falha, ou você a reinicia após interrompê-la. Você deve recriar os processadores que leem dos tópicos com as partições recém-adicionadas.

• Atualmente, o Atlas Stream Processing permite apenas dados formatados em JSON. Atualmente, ele não oferece suporte a serializações alternativas, como Avro ou Protocol Buffers.

• Para Apache Kafka conexões, o Atlas Stream Processing aceita atualmente apenas os seguintes protocolos de segurança:

  • PLAINTEXT

  • SASL_PLAINTEXT

  • SASL_SSL

  Atualmente, o Atlas Stream Processing não oferece suporte a certificados SSL personalizados.

  Para SASL, o Atlas Stream Processing suporta os seguintes mecanismos:

  • PLAIN

  • SCRAM-SHA-256

  • SCRAM-SHA-512

• O Atlas Stream Processing não é compatível com UDFs de $function JavaScript.

• O Atlas Stream Processing é compatível com um subconjunto dos Estágios de Pipeline de agregação disponíveis no Atlas, permitindo que você execute muitas das mesmas operações em dados de streaming que você pode realizar em dados em repouso. Para obter uma lista completa dos estágios do pipeline de agregação compatíveis, consulte a documentação do Stream Aggregation.