Atlas Stream Processing ist jetzt allgemein verfügbar!

Clark Gates-George and Joe Niemiec

Wir freuen uns, ankündigen zu können, dass Atlas Stream Processing – die MongoDB-native Methode zur Verarbeitung von Streaming-Daten – jetzt allgemein verfügbar ist und es Entwicklern ermöglicht, schnell reaktionsfähige, ereignisgesteuerte Anwendungen zu erstellen!

Unser Team hat die letzten zwei Jahre damit verbracht, eine Vision zu definieren und ein Produkt zu entwickeln, das sich auf die Stärken von MongoDB stützt, um die schwierigen Herausforderungen bei der Stream-Verarbeitung zu meistern. Nach einem Jahrzehnt der Entwicklung von Stream-Processing-Produkten außerhalb von MongoDB nutzen wir alles, was MongoDB einzigartig macht – die Query-API und das leistungsstarke Aggregations-Framework sowie das Dokumentenmodell und seine Schema-Flexibilität –, um ein großartiges Entwicklererlebnis zu schaffen.

Das ist ein neuer Ansatz für die Stream-Verarbeitung, und basierend auf dem Feedback so vieler von Ihnen in unserer Community ist es für die meisten Entwickler die optimale Lösung.

Kommen wir zu den Neuerungen.

Was gibt es Neues bei der allgemeinen Verfügbarkeit?

Graphic calling out the new features in general availability. Under the Dev Experience Improvements category, there is
  1. Bereit für die Produktion:
    Bereit zur Unterstützung Ihrer Produktions-Workloads, um eine zuverlässige und skalierbare Stream-Verarbeitung für Ihre unternehmenskritischen Anwendungen zu gewährleisten.

  2. Unterstützung für Time Series Collections:
    Ausgabe von Prozessorergebnissen in Time Series Collections. Verarbeiten Sie Daten kontinuierlich vor, während Sie sie für einen späteren historischen Zugriff in einem Sammlungstyp speichern, der in MongoDB Atlas explizit für die effiziente Speicherung und Abfrage von Time Series Data entwickelt wurde.

  3. Entwicklungs- und Produktions-Tiers:
    Neben dem SP30-Cluster-Tier, das während der öffentlichen Vorschau verfügbar ist, führen wir ein SP10-Tier ein, um Flexibilität und eine kostengünstige Option für explorative Anwendungsfälle und Stream Processing Workloads mit geringem Datenverkehr zu bieten.

  4. Verbesserte Unterstützung für Kafka:
    Die hinzugefügte Unterstützung für Kafka-Header ermöglicht es Anwendungen, neben den Ereignisdaten zusätzliche Metadaten bereitzustellen. Sie sind hilfreich für verschiedene Anwendungsfälle der Stream-Verarbeitung (z. B. Weiterleitung von Nachrichten, bedingte Verarbeitung und mehr).

  5. Zugriff mit geringsten Privilegien:
    Atlas-Datenbankbenutzer können den Zugriff auf Stream Processing Instances gewähren und den Zugriff nur denjenigen ermöglichen, die ihn benötigen.

  6. Stream Processor Alerting:
    Verschaffen Sie sich einen Überblick über den Zustand Ihrer Stream-Prozessoren, indem Sie für den Fall eines Ausfalls Warnmeldungen erstellen. Zu den unterstützten Methoden für Benachrichtigungen gehören E-Mail, SMS, Überwachungsplattformen wie Datadog und mehr.

Warum Atlas Stream Processing?

Atlas Stream Processing bringt die Leistungsfähigkeit und Flexibilität des Dokumentmodells und der Abfrage-API von MongoDB in den anspruchsvollen Bereich des Stream Processing. Mit Atlas Stream Processing können Entwickler:

  • mühelos mit komplexen und sich schnell ändernden Datenstrukturen umgehen

  • die vertraute MongoDB Query API für die Verarbeitung von Streaming-Daten verwenden

  • sich nahtlos mit MongoDB Atlas integrieren

  • von einem vollständig verwalteten Service profitieren, der den operativen Overhead eliminiert

Kunden-Highlights

Lesen Sie, was Entwickler über Atlas Stream Processing sagen:

Bei Acoustic liegt unser Hauptaugenmerk darauf, Marken mit Behavioral Insights zu versorgen, die es ihnen ermöglichen, ansprechende, personalisierte Kundenerfahrungen zu schaffen. Dazu muss unsere Acoustic Connect-Plattform in der Lage sein, Millionen von Marketing-, Verhaltens- und Kundensignalen effizient zu verarbeiten und zu verwalten, sobald diese erscheinen. Mit Atlas Stream Processing können unsere Ingenieure die Funktionen, die sie bereits aus der Arbeit mit Daten in Atlas kennen, dazu nutzen, neue Daten kontinuierlich zu verarbeiten und so sicherzustellen, dass unsere Kunden Zugang zu Kundeneinblicken in Echtzeit haben.

John Riewerts, EVP, Engineering bei Acoustic

Atlas Stream Processing ermöglicht es uns, Daten zu verarbeiten, zu validieren und zu transformieren, bevor wir sie an unsere Messaging-Architektur in AWS senden, wodurch ereignisgesteuerte Updates auf unserer gesamten Plattform ermöglicht werden. Die Zuverlässigkeit und Leistung von Atlas Stream Processing hat unsere Produktivität gesteigert, die Entwicklererfahrung verbessert und die Infrastrukturkosten gesenkt.

Cody Perry, Software Engineer, Meltwater

Wie geht es weiter mit Atlas Stream Processing?

Graphic calling out some of the things that are ahead for Atlas Stream Processing, including more regions, advanced networking, additional sources & sinks, and richer metrics & observability

Wir führen schnell neue Features und Funktionen ein, um sicherzustellen, dass MongoDB allen Entwicklungsteams eine erstklassige Stream Processing Experience bietet. In den nächsten Monaten können Sie Folgendes erwarten:

  1. Erweiterte Netzwerkunterstützung:
    Unterstützung für VPC-Peering zu Kafka-Clustern für Teams, die zusätzliche Netzwerkfunktionen benötigen

  2. Erweiterte Unterstützung von Cloud-Regionen:
    Unterstützung für alle in Atlas Data Federation verfügbaren Cloud-Regionen

  3. Erweiterte Unterstützung für Cloud-Anbieter:
    Unterstützung für Microsoft Azure

  4. Erweiterte Unterstützung von Datenquellen und Datensenken:
    Wir geben noch keine Einzelheiten über zusätzliche Quellen und Senken bekannt, aber wir haben Pläne, in den kommenden Monaten über Kafka und Atlas-Datenbanken hinauszugehen. Teilen Sie uns mit, welche Quellen und Senken Sie benötigen, und wir werden dies bei unserer Planung berücksichtigen

  5. Reichhaltigere Metriken und Beobachtungsmöglichkeiten:
    Unterstützung für einen erweiterten Einblick in Ihre Stream-Prozessoren, um die Überwachung und Fehlerbehebung zu vereinfachen

  6. Flexibilität bei der Bereitstellung mit HashiCorp Terraform:
    Unterstützung für die Verwaltung von Atlas Stream Processing Instanzen und Atlas Stream Registry-Verbindungen mit Terraform. Diese Integration ermöglicht eine nahtlose CI/CD-Pipeline und verbessert die betriebliche Effizienz mit Infrastructure as Code. Halten Sie außerdem in naher Zukunft Ausschau nach einem speziellen Blog über die ersten Schritte mit Atlas Stream Processing und Terraform.

Ganz gleich, ob Sie Sensordaten mit hoher Geschwindigkeit verarbeiten, Kundendaten kontinuierlich analysieren, um ein personalisiertes Erlebnis zu bieten, oder eine vorausschauende Wartung durchführen möchten, um die Erträge zu steigern und die Kosten zu senken – Atlas Stream Processing hat alles für Sie. Schließen Sie sich den Hunderten von Entwicklungsteams an, die bereits mit Atlas Stream Processing arbeiten. Bleiben Sie dran, um bald mehr von uns zu hören. Wir wünschen Ihnen viel Erfolg bei der Entwicklung!

Melden Sie sich noch heute an oder sehen Sie sich unser Einführungs-Tutorial an, um loszulegen.