제한 사항

Atlas Stream Processing에는 다음과 같은 제한 사항이 적용됩니다.

• Atlas Stream Processing은 현재 US-EAST-1 리전의 Amazon Web Services에서만 사용할 수 있습니다. 이는 스트림 처리 인스턴스 자체에만 적용됩니다. 단, 스트림 프로세서는 다른 클라우드 제공자 또는 다른 리전에 호스팅된 클러스터에서 계속 읽고 쓸 수 있습니다(단, 스트림 처리 인스턴스와 동일한 프로젝트에 있는 경우).

• 모든 Atlas Stream Processing 인스턴스의 합산된 state.stateSize 는 동일한 SPI 계층의 작업자가 사용할 수 있는 RAM 의 80%를 초과할 수 없습니다. 예를 들어, 작업자당 RAM이 8GB인 SP30 계층에서 스트림 프로세서의 최대 크기는 6 입니다.4GB. 스트림 프로세서의 state.stateSize 가 동일한 SPI 계층의 작업자가 사용할 수 있는 RAM의 80%에 근접한 경우 다음 SPI 계층으로 이동합니다.

  80% RAM 임계값을 초과하면 모든 스트림 프로세서가 stream processing instance out of memeory 오류와 함께 실패합니다. sp.processor.stats() 명령을 사용하여 각 스트림 프로세서의 state.stateSize 값을 볼 수 있습니다. 자세한 내용은 스트림 프로세서의 통계 보기를 참조하세요.

• 스트림 처리 인스턴스는 동일한 프로젝트의 클러스터만 소스 또는 싱크로 사용할 수 있습니다.

• Atlas Stream Processing 파이프라인 정의는 16 MB를 초과할 수 없습니다.

• Project Owner 또는 Atlas admin 역할을 가진 사용자만 Atlas Stream Processing을 사용할 수 있습니다.

• Atlas Stream Processing은 현재 다음 연결 유형만 지원합니다.

  연결 유형	사용법
  Apache Kafka	소스 또는 싱크
  Atlas Database	소스 또는 싱크
  샘플 연결	소스 전용

• Apache Kafka 를 사용하는 Atlas Stream Processing의 경우 Apache Kafka 가 $source 인 경우 실행 중인 프로세서에 $source 역할을 하는 주제가 파티션을 추가하면 Atlas Stream Processing은 파티션을 읽지 않고 계속 실행됩니다. 오류 후 체크포인트에서 파티션을 복원한 후 새 파티션을 감지하거나 중지한 후 다시 시작하면 프로세서가 실패합니다. 새로 추가된 파티션으로 주제에서 읽는 프로세서를 다시 생성해야 합니다.

• Atlas Stream Processing은 현재 JSON 형식의 데이터만 지원합니다. 현재 Avro 또는 프로토콜 버퍼와 같은 대체 직렬화는 지원하지 않습니다.

• Apache Kafka 의 경우 Atlas Stream Processing은 현재 다음 보안 프로토콜만 지원합니다.

  • PLAINTEXT

  • SASL_PLAINTEXT

  • SASL_SSL

  Atlas Stream Processing은 현재 사용자 지정 SSL 인증서를 지원하지 않습니다.

  SASL 의 경우 Atlas Stream Processing은 다음 메커니즘을 지원합니다.

  • PLAIN

  • SCRAM-SHA-256

  • SCRAM-SHA-512

• Atlas Stream Processing은 $function JavaScript UDF 를 지원하지 않습니다.

• Atlas Stream Processing은 Atlas에서 사용할 수 있는 집계 파이프라인 단계의 하위 집합을 지원하므로 스트리밍 데이터에서도 미사용 데이터에서 수행할 수 있는 것과 동일한 여러 작업을 수행할 수 있습니다. 지원되는 집계 파이프라인 단계의 전체 목록은 스트림 집계 문서를 참조하세요.