Atlas Stream Processing

I dati in streaming vengono generati continuamente da un'ampia gamma di fonti. Tra quelle che più comunemente ne generano un elevato volume possiamo citare sensori IoT, microservices e dispositivi mobili. La natura continua dei dati in streaming e la loro immutabilità li rendono unici rispetto ai dati statici a riposo in un database.

Lo stream processing consiste nell'ingerire e trasformare continuamente i dati degli eventi da una piattaforma di messaggistica di eventi (come Apache Kafka) per eseguire varie funzioni. Questo potrebbe MEAN creare semplici filtri per rimuovere i dati non necessari, eseguire aggregazioni per contare o sommare i dati secondo le necessità, creare Windows stateful e altro ancora. L'elaborazione del flusso può essere una caratteristica differenziante nelle applicazioni event-driven, consentendo un'esperienza del cliente più reattiva e reattiva.

I dati in streaming risiedono all'interno di piattaforme di event streaming (come Apache Kafka), in sistemi che fondamentalmente sono un log distribuito immutabile. I dati degli eventi vengono pubblicati e consumati da piattaforme di streaming di eventi tramite API.

Per eseguire elaborazioni più avanzate, come aggregazioni stateful, operazioni su finestre, mutazioni e creazione di viste materializzate, gli sviluppatori devono utilizzare un elaboratore di flusso. Le operazioni sono simili a quelle che si svolgono quando si eseguono query su un database, con la differenza che lo stream processing interroga costantemente un flusso infinito di dati. Quest'area dello streaming è una tecnologia emergente e stanno rapidamente prendendo piede soluzioni come Apache Flink e Spark Streaming.

Con Atlas Stream Processing, MongoDB offre agli sviluppatori un modo migliore per elaborare i flussi da utilizzare nelle loro applicazioni, sfruttando il framework di aggregazione.

Lo stream processing è un componente sempre più critico per la creazione di applicazioni reattive e basate su eventi. Aggiungendo la funzionalità di stream processing come funzionalità nativa in MongoDB Atlas, stiamo aiutando più sviluppatori a creare applicazioni innovative sfruttando la nostra piattaforma di dati multi-cloud per sviluppatori.

Lo stream processing avviene in modo continuo. Nell'ambito della creazione di applicazioni basate su eventi, lo stream processing consente esperienze reattive e accattivanti, come notifiche in tempo reale, personalizzazione, pianificazione del percorso e manutenzione predittiva.

L'elaborazione in batch non funziona su dati prodotti in modo continuo. L'elaborazione in batch, invece, funziona raccogliendo dati per un periodo di tempo specificato e poi elaborando quei dati statici secondo le esigenze. Un esempio di elaborazione in batch è un'azienda di vendita al dettaglio che raccoglie le vendite ogni giorno alla chiusura dell'attività per scopi di reportistica o aggiornamento dei livelli di inventario.

Atlas Stream Processing estende l'aggregation pipeline con fasi per l'elaborazione di flussi di dati continui. Queste fasi si combinano con le fasi di aggregazione già presenti incorporate nel processo mongod predefinito, consentendo agli sviluppatori di eseguire molte delle stesse operazioni sui dati continui eseguibili sui dati inattivi.

Sì. Atlas Stream Processing utilizza documenti di checkpoint per acquisire lo stato di un elaboratore di flusso dopo che l'ultimo operatore di un elaboratore di flusso è completato. Si tratta di una funzionalità importante per riavviare un elaboratore dopo un guasto, senza una significativa rielaborazione dei dati.

Atlas Stream Processing supporta l'operatore $validate nella MongoDB Query API. Utilizzando questo operatore, gli sviluppatori possono garantire che i valori e i tipi di dati siano conformi a uno schema, indirizzando facoltativamente i dati a una coda di lettere morte (DLQ) quando non soddisfano i criteri di convalida.

A partire da agosto 2024, Atlas Stream Processing supporta AWS negli Stati Uniti, in Europa e nella regione APAC. Presto sarà disponibile il supporto per altri provider di cloud e regioni.