Atlas Stream Processing

Streaming-Daten werden kontinuierlich aus unterschiedlichsten Quellen generiert. IoT-Sensoren, Microservices und mobile Geräte sind allesamt gängige Quellen für große Datenströme. Da Streaming-Daten kontinuierlich eingehen und unveränderlich sind, unterscheiden sie sich von statischen, ruhenden Daten einer Datenbank.

Bei der Stream-Verarbeitung werden kontinuierlich Ereignisdaten von einer Ereignis-Messaging-Plattform (wie Apache Kafka) erfasst und umgewandelt, um verschiedene Funktionen auszuführen. Dies könnte MEAN einfache Filter zu erstellen, um nicht benötigte Daten zu entfernen, Aggregationen durchzuführen, um Daten nach Bedarf zu zählen oder zu summieren, zustandsbehaftete Windows zu erstellen und vieles mehr. Die Stream-Verarbeitung kann ein Unterscheidungsmerkmal in ereignisgesteuerten Anwendungen sein und eine reaktivere, reaktionsfähigere Kundenerfahrung ermöglichen.

Streaming-Daten befinden sich innerhalb von Ereignis-Streaming-Plattformen (wie Apache Kafka) und diese Systeme sind im Wesentlichen ein unveränderlich verteiltes Protokoll. Ereignisdaten werden mithilfe von API von Ereignis-Streaming-Plattformen veröffentlicht und genutzt.

Entwickler benötigen für fortschrittlichere Verarbeitungsvorgänge einen Streaming-Prozessor, z. B. für zustandsorientierte Aggregationen, Window Operations, Mutationen und die Erstellung materialisierter Ansichten. Diese ähneln den Vorgängen, die bei Abfragen in einer Datenbank ausgeführt werden, mit der Ausnahme, dass die Stream-Verarbeitung einen endlosen Datenstrom kontinuierlich abfragt. Dieser Bereich des Streamings ist eine aufstrebende Technologie, wobei Lösungen wie Apache Flink und Spark Streaming schnell an Bedeutung gewinnen.

Mit Atlas Stream Processing bietet MongoDB Entwicklern eine bessere Möglichkeit, Streams für die Nutzung in ihren Anwendungen zu verarbeiten, während sie das Aggregationsframework nutzen.

Für reaktionsfähige, ereignisgesteuerte Anwendungen wird die Stream-Verarbeitung immer wichtiger. Durch die Hinzufügung von Stream-Verarbeitungsfunktionen als native Fähigkeit in MongoDB Atlas unterstützen wir mehr Entwickler dabei, innovative Anwendungen zu erstellen, die unsere Multi-Cloud-Entwicklerdatenplattform nutzen.

Die Stream-Verarbeitung erfolgt kontinuierlich. Im Zusammenhang mit der Entwicklung ereignisgesteuerter Anwendungen ermöglicht die Stream-Verarbeitung reaktive und überzeugende Abläufe wie Echtzeit-Benachrichtigungen sowie die Personalisierung, Routenplanung oder vorausschauende Wartung.

Die Batch-Verarbeitung ist nicht auf kontinuierlich produzierte Daten anwendbar. Bei der Batch-Verarbeitung werden stattdessen Daten über einen bestimmten Zeitraum erhoben und dann nach Bedarf verarbeitet. Ein Beispiel für die Batch-Verarbeitung ist ein Einzelhandelsunternehmen, das jeden Tag zum Geschäftsschluss Verkäufe zu Berichtszwecken oder zur Aktualisierung der Lagerbestände erfasst.

Atlas Stream Processing erweitert die Aggregationspipeline um Phasen zur Verarbeitung kontinuierlicher Datenströme. Diese Phasen werden mit vorhandenen, in den Standardprozess von MongoDB integrierten Aggregationsphasen kombiniert. Dadurch können Entwickler viele der gleichen Vorgänge mit kontinuierlichen Daten durchführen, die sie auch mit Daten bei der Speicherung durchführen können.

Ja. Atlas Stream Processing verwendet Checkpoint-Dokumente, um den Zustand eines Stream-Prozessors zu erfassen, sobald der letzte Operator eines Stream-Prozessors abgeschlossen ist. Dies ist eine wichtige Fähigkeit, um einen Prozessor nach einem Ausfall neu zu starten, ohne dass eine erhebliche erneute Verarbeitung von Daten erforderlich ist.

Atlas Stream Processing unterstützt den $validate Operator in der MongoDB Query API. Mit diesem Operator können Entwickler sicherstellen, dass Datenwerte und -typen einem Schema entsprechen. Optional können Daten an eine Dead Letter Queue (DLQ) weitergeleitet werden, wenn sie die Validierungskriterien nicht erfüllen.

Ab August 2024 unterstützt Atlas Stream Processing AWS in den USA, Europa und im asiatisch-pazifischen Raum. Unterstützung für andere Cloud-Anbieter und Regionen wird bald verfügbar sein.