版本说明

MongoDBconnector适用于 的Spark10.4

10.4Connector发布包括以下更改和新功能：

• 将Java Sync Driver版本更新到 v5.1.x。

MongoDBconnector适用于 的Spark10.3

10.3 connector版本包括以下新功能：

• 添加了对 Spark v 3.3 、 v 3.4和 v 3.5 。

• 添加了对使用微批处理或连续流模式时读取多个集合的支持。

  警告

  破坏性变更 (breaking change)

  对读取多个集合的支持引入了以下重大更改：

  • 如果 collection配置选项中使用的集合名称包含逗号，则Spark Connector会将其视为两个不同的集合。 为避免这种情况，必须在逗号前面加上反斜杠 (\) 来对逗号进行转义。

  • 如果collection配置选项中使用的集合名称为“*”，Spark Connector 会将其解释为扫描所有集合的规范。 为避免这种情况，必须在星号前加上反斜杠 (\) 对星号进行转义。

  • 如果collection配置选项中使用的集合名称包含反斜杠 (\)，则 Spark Connector 会将反斜杠视为转义字符，这可能会改变它对该值的解释方式。 为避免这种情况，必须在反斜杠前面加上另一个反斜杠来对其进行转义。

  要学习；了解有关扫描多个集合的更多信息，请参阅集合配置属性说明。

MongoDBconnector适用于 的Spark10.2

10.2 connector版本包括以下新功能：

• 添加了 ignoreNullValues 写入配置属性，使您能够控制connector是否忽略空值。 在以前的版本中， connector始终将 null 值写入MongoDB 。

• 为convertJson写入配置属性添加了选项。

• 添加了change.stream.micro.batch.max.partition.count读取配置属性，该属性允许您将微批处理划分为多个分区以进行并行处理。

• 改进使用change.stream.publish.full.document.only读取配置属性时的变更流模式推断。

• 添加了 change.stream.startup.mode 读取配置属性，该属性指定connector在没有可用偏移量时如何处理更改事件。

• 支持为操作添加注释。

MongoDBconnector适用于 的Spark10.1.1

• 更正了包括$collStats管道阶段在内的聚合未返回时间序列集合的计数字段的错误。

MongoDBconnector适用于 的Spark10.1.0

• 支持 Scala 2.13 。

• 通过 Spark 结构化流支持微批处理模式。

• 支持 BSON 数据类型。

• 改进分区器对空集合的支持。

• 用于禁用写入操作时自动更新或插入的选项。

• 改进了空数组的模式推断。

• 支持数组和列表中的 null 值。 connector现在会将这些值写入MongoDB ，而不是抛出异常。

有关更多信息，请参阅 上的 这篇帖子 MongoDB Blog。

MongoDBconnector适用于 的Spark10.0.0

• 支持 Spark 结构化流。