Cree aggregation pipeline para consultar, analizar y React continuamente a la transmisión de datos sin los retrasos inherentes al procesamiento por lotes.
Realice una validación continua del esquema para verificar que los eventos se formen correctamente antes del procesamiento, detectar daños en los mensajes y detectar datos que llegan tarde y que han perdido una ventana de procesamiento.
Materialice continuamente vistas en sistemas de transmisión o collection de bases de datos Atlas como Apache Kafka para mantener vistas analíticas frescas de los datos que respaldan la toma de decisiones y la acción.
Empiece con el servicio de base de datos multicloud construido para la resiliencia, la escala y los más altos niveles de privacidad y seguridad de los datos.
Ejecute código automáticamente en respuesta a cambios en la base de datos o a eventos del usuario, o en intervalos preestablecidos.
Integre de forma nativa los datos de MongoDB dentro del ecosistema de Kafka.
Los datos de transmisión se encuentran dentro de plataformas de transmisión de eventos (como Apache Kafka), y estos sistemas son esencialmente un registro distributed inmutable. Los datos de eventos se publican y consumen desde plataformas de transmisión de eventos mediante API.
Los desarrolladores necesitan utilizar un procesador de transmisión para realizar procesamientos más avanzados, como agregaciones con estado, operaciones de ventanas, mutaciones y creación de vistas materializadas. Son similares a las operaciones que se realizan cuando se ejecutan consultas en una base de datos, excepto que el procesamiento de transmisión consulta continuamente una transmisión interminable de datos. Esta área del streaming es más incipiente; sin embargo, tecnologías como Apache Flink y Spark Streaming están ganando terreno rápidamente.
Con Atlas Stream Processing, MongoDB ofrece a los desarrolladores una mejor manera de procesar flujos para usar en sus aplicaciones, aprovechando el marco de agregación.
El procesamiento de flujo ocurre continuamente. En el contexto de la creación de aplicaciones basadas en eventos, el procesamiento de flujos permite experiencias reactivas y convincentes como notificaciones en tiempo real, personalización, planificación de rutas o mantenimiento predictivo.
El procesamiento por lotes no funciona con datos que se producen continuamente. En cambio, el procesamiento por lotes funciona recopilando datos durante un período de tiempo específico y luego procesando esos datos estáticos según sea necesario. Un ejemplo de procesamiento por lotes es un negocio minorista que recopila ventas al cierre del negocio cada día con fines de presentar informes y/o actualiza los niveles de inventario.