Atlas Stream Processing

ストリーミングデータはさまざまなソースから継続的に生成されます。IoT センサー、マイクロサービス、モバイルデバイスは、いずれも大量のストリーミングデータの一般的な発生源です。ストリーミングデータは継続的に生成され、不変であるという特性を持つため、データベース内に保存された静的データとは異なります。

Stream Processing では、さまざまな処理を実行するために、イベントメッセージングプラットフォーム（Apache Kafka など）からイベントデータを継続的に取り込み、変換します。これには、不要なデータを除外するシンプルなフィルターの作成、必要に応じたデータの集計や合計値の計算、ステートフルウィンドウの作成などが含まれます。ストリーム処理は、イベント駆動型アプリケーションの差別化要素となり、より迅速で応答性の高い顧客体験を実現します。

ストリーミングデータはイベントストリーミングプラットフォーム（Apache Kafka など）内に保持され、これらのシステムは本質的に不変の分散ログとして機能します。イベントデータは、API を介してイベントストリーミングプラットフォームに公開され、そこから消費されます。

開発者は、ステートフル集計、ウィンドウ演算、変換処理、マテリアライズドビューの作成などの高度な処理を実行するために、ストリームプロセッサを使用する必要があります。これらの処理はデータベースに対するクエリ実行時の操作と似ていますが、ストリーム処理では終わりのないデータストリームに対して継続的にクエリを実行する点が異なります。ストリーム処理は、Apache Flink や Spark Streaming などのソリューションの普及に伴い、急速に注目を集めている新しい技術分野です。

Atlas Stream Processing を使用すると、開発者は集計フレームワークを活用しながら、アプリケーションで利用するストリームデータをより効率的に処理できます。

ストリーム処理は、応答性の高いイベント駆動型アプリケーションを構築するためのますます重要なコンポーネントになっています。MongoDB Atlas のネイティブ機能としてストリーム処理機能を追加することで、より多くの開発者が最新のマルチクラウドデータプラットフォームを活用して革新的なアプリケーションをビルドできるようになります。

ストリーム処理は継続的に実行されます。イベント駆動型アプリケーションの構築において、ストリーム処理はリアルタイム通知、パーソナライゼーション、経路計画、予知保全などの反応性に優れた魅力的なユーザー体験を実現します。

バッチ処理は、継続的に生成されるデータには適していません。代わりに、バッチ処理では、指定した期間にわたってデータを収集し、その静的なデータを必要に応じて処理します。バッチ処理の例として、レポート作成や在庫レベルの更新のために、小売業者が毎日の営業終了時に売上データを収集するケースがあります。

Atlas Stream Processing は、連続データストリームを処理するためのステージを追加して集計パイプラインを拡張します。これらのステージは、デフォルトの mongod プロセスに組み込まれた既存の集計ステージと組み合わせて使用できるため、開発者は保管中のデータに対して実行できる操作の多くを連続データに対しても実行できます。

はい。Atlas Stream Processing は、ストリームプロセッサの最後の演算子が完了したときに、チェックポイントドキュメントを使ってストリームプロセッサの状態を記録します。これは、データの大幅な再処理を必要とせずに、障害後にプロセッサを再起動するための重要な機能です。

Atlas Stream Processing は、MongoDB Query API で $validate 演算子をサポートしています。この演算子を使用すると、データの値や型がスキーマに準拠していることを確認できます。また、検証基準を満たさないデータをデッドレターキュー（DLQ）にルーティングすることもできます。

2025年3月現在、Atlas Stream Processing は世界各地のリージョンで AWS と Azure をサポートしています。