Crie aggregation pipeline para consultar, analisar e React continuamente ao streaming de dados sem os atrasos inerentes ao processamento em lote.
Execute a validação contínua do esquema para verificar se os eventos foram formados corretamente antes do processamento, detectar corrupção de mensagens e detectar dados que chegaram atrasados e que perderam uma janela de processamento.
Materialize continuamente visualizações na collection de banco de dados Atlas ou em sistemas de streaming, como o Apache Kafka, para manter novas visualizações analíticas de dados que apoiam a tomada de decisões e ações.
Comece com o serviço de banco de dados multi-cloud criado para resiliência, escala e os mais altos níveis de privacidade e segurança de dados.
Execute código automaticamente para atender às alterações feitas em banco de dados, eventos do usuário ou intervalos predefinidos.
Integre de forma nativa os dados do MongoDB ao ecossistema do Kafka.
O streaming de dados reside dentro de plataformas de streaming de eventos (como Apache Kafka) e esses sistemas são essencialmente registro log distribuído imutável. Os dados de eventos são publicados e consumidos em plataformas de streaming de eventos por meio de API.
Os desenvolvedores precisam usar um processador de fluxo para realizar processamentos mais avançados, como agregações com estado, operações de janela, mutações e criação de visualizações materializadas. Elas são semelhantes às operações realizadas ao executar consultas em um banco de dados, exceto que o processamento de fluxo consulta constantemente um fluxo infinito de dados. Essa área de streaming é mais incipiente; no entanto, tecnologias como Apache Flink e Spark Streaming estão ganhando força rapidamente.
Com o Atlas Stream Processing, o MongoDB oferece aos desenvolvedores uma maneira melhor de processar fluxos para uso em seus aplicativos, alavancando a estrutura de agregação.
O processamento do fluxo é contínuo. No contexto da criação de aplicativos baseados em eventos, o processamento de fluxo permite experiências reativas e atraentes, como notificações em tempo real, personalização, planejamento de rotas ou manutenção preditiva.
O processamento em lote não funciona em dados produzidos continuamente. Em vez disso, o processamento em lote funciona coletando dados durante um período de tempo especificado e, em seguida, processando esses dados estáticos conforme o necessário. Um exemplo de processamento em lote é uma empresa de varejo que coleta vendas no fechamento do negócio todos os dias para fins de relatório e/ou atualização dos níveis de estoque.