스트리밍 데이터는 이벤트 스트리밍 플랫폼(예: Apache Kafka) 내부에 있으며 이러한 시스템은 본질적으로 변경할 수 없는 분산 로그입니다. 이벤트 데이터는 API를 사용하여 이벤트 스트리밍 플랫폼에서 게시되고 사용됩니다.
개발자는 스트림 프로세서를 사용하여 상태 저장 집계, 창 작업, 변형 및 구체화된 뷰 만들기와 같은 고급 처리를 수행해야 합니다. 이는 데이터베이스에서 쿼리를 실행할 때 수행하는 작업과 유사하지만 스트림 처리가 끝없는 데이터 스트림을 지속적으로 쿼리한다는 점이 다릅니다. 이 스트리밍 영역은 더 초기 단계입니다. 그러나 Apache Flink 및 Spark Streaming과 같은 기술이 빠르게 주목을 받고 있습니다.
Atlas Stream Processing을 통해 MongoDB는 개발자에게 집계 프레임워크를 활용하여 애플리케이션에서 사용할 스트림을 처리하는 더 나은 방법을 제공합니다.
스트림 처리는 지속적으로 이루어집니다. 이벤트 기반 애플리케이션을 구축할 때 스트림 처리는 실시간 알림, 개인화, 경로 계획 또는 예측 유지 관리와 같은 매력적인 반응형 경험을 가능하게 합니다.
일괄 처리는 지속적으로 생성되는 데이터에는 작동하지 않습니다. 대신 일괄 처리는 지정된 기간 동안 데이터를 수집한 다음 필요에 따라 해당 정적 데이터를 처리하는 방식으로 작동합니다. 일괄 처리의 예로는 보고 목적 및/또는 재고 수준 업데이트를 위해 매일 영업이 종료될 때 매출을 수집하는 소매업을 들 수 있습니다.