Limitações
As seguintes limitações se aplicam ao Atlas Stream Processing:
Atualmente, o Atlas Stream Processing só está disponível em Amazon Web Services, na região
US-EAST-1
. Isso se aplica apenas às próprias instâncias de Atlas Stream Processing; seus processadores de stream ainda podem ler e gravar em clusters hospedados em diferentes fornecedor de nuvem ou em regiões diferentes, desde que estejam no mesmo projeto que a instância de Atlas Stream Processing.O
state.stateSize
combinado de todas as instâncias de processamento de fluxo não pode exceder 80% da RAM disponível para um trabalhador no mesmo nível de SPI. Por exemplo, o tamanho máximo de um processador de stream na camadaSP30
, que tem 8GB de RAM por trabalhador, é 6.4GB. Se ostate.stateSize
de qualquer um dos seus processadores de stream estiver se aproxima 80% da RAM disponível para um trabalhador no mesmo nível de SPI, passe para o próximo nível de SPI.Quando o limite de RAM de 80% foi ultrapassado, todos os processadores de stream falham com um erro
stream processing instance out of memeory
. Você pode visualizar o valorstate.stateSize
de cada processador de fluxo com o comandosp.processor.stats()
. Consulte Exibir estatísticas de um processador de stream para saber mais.Uma instância de Atlas Stream Processing pode usar somente clusters no mesmo projeto como fontes ou coletores.
Uma definição de pipeline do Atlas Stream Processing não pode exceder 16 MB.
Somente usuários com os roles
Project Owner
ouAtlas admin
podem usar o Atlas Stream Processing.Atualmente, o Atlas Stream Processing é compatível apenas com os seguintes tipos de conexão:
Tipo de conexão | Uso |
---|---|
Fonte ou Coletor | |
Banco de Dados Atlas | Fonte ou Coletor |
Conexão de amostra | Apenas fonte |
Atualmente, o Atlas Stream Processing permite apenas dados formatados em JSON. Atualmente, ele não oferece suporte a serializações alternativas, como Avro ou Protocol Buffers.
Para Apache Kafka conexões, o Atlas Stream Processing aceita atualmente apenas os seguintes protocolos de segurança:
PLAINTEXT
SASL_PLAINTEXT
SASL_SSL
Atualmente, o Atlas Stream Processing não oferece suporte a certificados SSL personalizados.
Para
SASL
, o Atlas Stream Processing suporta os seguintes mecanismos:PLAIN
SCRAM-SHA-256
SCRAM-SHA-512
Atualmente, o Atlas Stream Processing não permite o emparelhamento de VPC para conexões com o Apache Kafka. Após adicionar uma conexão a um servidor Apache Kafka cluster ao seu registro de conexão, você deve adicionar endereços IP do Atlas a uma lista de acesso para esse cluster. Para mais informações, consulte Permitir acesso de ou para o Plano de Controle Atlas.
O Atlas Stream Processing não suporta $function UDFs JavaScript .