Docs 菜单
Docs 主页
/
Spark Connector

流式处理模式

在此页面上

  • Overview

Overview

Spark Connector 支持流媒体模式，该模式使用 Spark 结构化流媒体在数据可用时立即处理数据，而不是等待一段时间。Spark Structured Streaming 是一个数据流处理引擎，您可以使用数据集或 DataFrame API 进行访问。

重要

Apache Spark 包含两个不同的流处理引擎：

  • 使用 DStreams 进行 Spark Streaming ，现已成为不受支持的旧版引擎

  • Spark 结构化流媒体。

本指南仅适用于 Spark 结构化流媒体。

以下部分介绍如何使用 Spark Connector 以流媒体方式从 MongoDB 读取数据以及将数据写入 MongoDB：

  • 以流媒体模式从 MongoDB 读取

  • 以流媒体模式写入 MongoDB

提示

Apache Spark 文档

要了解有关使用 Spark 处理数据流的更多信息，请参阅 Spark 编程指南。

后退

批量写入配置选项

在此页面上