Atlas Stream Processing

Les données de streaming sont continuellement générées à partir d'un large éventail de sources. Les capteurs IoT, les microservices et les appareils mobiles sont tous des sources courantes de flux de données à haut volume. La nature continue des données de streaming et leur immuabilité les distinguent des données statiques au repos dans une base de données.

Le stream processing consiste à ingérer et à transformer en continu des données d'événements à partir d'une plateforme d'événements (comme Apache Kafka) afin d'exécuter diverses fonctions. Il peut s'agir de MEAN, de créer des filtres simples pour supprimer les données inutiles, d'effectuer des agrégations pour compter ou additionner les données selon les besoins, de créer Windows, et bien d'autres choses encore. Le stream processing peut être une caractéristique différenciatrice dans les applications event-driven, permettant une expérience client plus réactive et plus sensible.

Les données streamning sont stockées dans des plateformes d'event streaming (comme Apache Kafka), et ces systèmes sont essentiellement des journaux distribués immuables. Les données d'événements sont publiées et consommées à partir de plateformes d'event streaming à l'aide d'API.

Les développeurs doivent utiliser un processeur de flux pour effectuer des traitements plus avancés, tels que les agrégations avec état, les opérations sur les fenêtres, les mutations et la création de vues matérialisées. Ces opérations sont similaires à celles effectuées lors de l’exécution de requêtes sur une base de données, sauf que le traitement en continu interroge en permanence un flux infini de données. Ce domaine du streaming de données est une technologie émergente avec des solutions telles qu’Apache Flink et Spark Streaming qui gagnent rapidement du terrain.

Avec Atlas Stream Processing, MongoDB offre aux développeurs un moyen plus performant de traiter les flux pour les utiliser dans leurs applications tout en tirant parti du framework d’agrégation.

Le traitement par flux est un composant de plus en plus critique pour la création d’applications réactives et pilotées par les événements. En ajoutant la fonctionnalité de traitement par flux en tant que capacité native dans MongoDB Atlas, nous aidons davantage de professionnels à créer des applications innovantes en tirant parti de notre plateforme de données multicloud pour les développeurs.

Le traitement par flux s’effectue en continu. Dans le cadre de la création d’applications axées sur les événements, le traitement par flux permet des expériences réactives et attrayantes telles que les notifications en temps réel, la personnalisation, la planification de routes et la maintenance prédictive.

Le traitement par lot n’est pas adapté aux données produites en continu. En effet, le traitement par lot procède par collecte des données sur une période spécifiée, puis traite ces données statiques selon les besoins. Tel est le cas, par exemple, d’une entreprise de vente au détail qui enregistre les ventes en fin de journée à des fins de reporting ou de mise à jour des niveaux de stock.

MongoDB Atlas Stream Processing étend le pipeline d’agrégation avec des étapes pour traiter les flux de données continus. Ces étapes se combinent avec les étapes d’agrégation existantes intégrées au processus mongod par défaut, permettant aux développeurs d’effectuer de nombreuses opérations identiques sur les données continues comme sur les données au repos.

Oui. MongoDB Atlas Stream Processing utilise des documents de point de contrôle pour capturer l’état d’un processeur de flux une fois que le dernier opérateur d’un processeur de flux a terminé. C’est une fonctionnalité essentielle pour redémarrer un processeur après une défaillance, sans nécessiter de retraitement important des données.

Atlas Stream Processing prend en charge l’opérateur $validate dans l’API de requête MongoDB. En utilisant cet opérateur, les développeurs peuvent garantir que les valeurs et types de données respectent un schéma, en acheminant éventuellement les données vers une file d’attente de lettres mortes (DLQ) lorsqu’elles ne satisfont pas aux critères de validation.

À partir d’août 2024, Atlas Stream Processing prend en charge AWS aux États-Unis, en Europe et en APAC. La prise en charge d’autres fournisseurs de cloud et régions sera bientôt disponible.