Docs Menu
Docs Home
/
Spark Connector

ストリーミング モード

項目一覧

  • Overview

Overview

Spark Connectorはストリーミング モードをサポートしています。このモードではSpark Structured Streaming が使用され、時間間隔が経過するのを待つのではなく、データが利用可能になるとすぐに処理されます。 Spark Structured Streaming は、Dataset または DataFrame API を使用してアクセスできるデータストリーム処理エンジンです。

重要

Apache Spark には 2 つの異なるストリーム処理エンジンが含まれています。

  • DStreams を使用した Spark Streams は、サポートされないレガシー エンジンになりました

  • Spark 構造化ストリーミング。

このガイドは Spark Structured Streaming のみに関連します。

次のセクションでは、Spark Connector を使用して MongoDB からデータを読み取り、ストリーミング モードで MongoDB にデータを書き込む方法を説明します。

  • ストリーミング モードでの MongoDB からの読み取り

  • ストリーミング モードでの MongoDB への書込み (write)

Tip

Apache Spark のドキュメント

Spark を使用してデータのストリームを処理する方法の詳細については、「 Spark プログラミング ガイド 」を参照してください。

戻る

バッチ書込み (write) 構成オプション

項目一覧