Docs 菜单
Docs 主页
/
MongoDB Kafka Connector

新增功能

在此页面上

  • 1.13 中的新功能
  • 1.12 中的新功能
  • 1.11.2 中的新功能
  • 1.11.1 中的新功能
  • 1.11 中的新功能
  • 1.10.1 中的新功能
  • 1.10 中的新功能
  • 1.9.1 中的新功能
  • 1.9 中的新功能
  • 1.8.1 中的新功能
  • 1.8 中的新功能
  • 1.7 中的新功能
  • 1.6.1 中的新功能
  • 1.6 中的新功能
  • 1.5 中的新功能
  • 1.4 中的新功能
  • 1.3 中的新功能
  • 1.2 版新增功能
  • 1.1 中的新增功能
  • 1.0 中的新功能

了解各版本的新增功能：

  • 版本 1.13

  • 版本 1.12

  • 版本 1.11.2

  • 版本 1.11.1

  • 版本 1.11

  • 版本 1.10.1

  • 版本 1.10

  • 版本 1.9.1

  • 版本 1.9

  • 版本 1.8.1

  • 版本 1.8

  • 版本 1.7

  • 版本 1.6.1

  • 版本 1.6

  • 版本 1.5

  • 版本 1.4

  • 版本 1.3

  • 版本 1.2

  • 版本 1.1

  • 版本 1.0

1.13 中的新功能

  • 为 Source 连接器和 Sink 连接器添加了自定义身份验证提供者接口。 此功能使您能够在Connector中写入和使用自定义实施类。 要学习；了解详情，请参阅自定义身份验证提供程序指南。

  • 修复如果配置包含密钥并使用 Provider框架，则在验证源连接器和接收器连接器的配置时出现的问题。 要学习；了解有关此修复的更多信息，请参阅 KAFKA-414 Jira 问题。

1.12 中的新功能

  • 在mongo.errors.tolerance配置设置中添加了对data配置值的支持。 使用mongo.errors.tolerance=data时，接收器Connector仅允许数据错误，对于任何其他错误都将失败。

1.11.2 中的新功能

  • 修复了一个错误：从变更流中检索项目的失败尝试会被记录在INFO级别，而不是ERROR级别。 要了解有关此修复的更多信息，请参阅 KAFKA-396 Jira 问题。

  • 修复了一个错误，该错误会导致 DELETE_WRITEMODEL_STRATEGY_CONFIG string值的要求阻止创建 DeleteOneDefaultStrategy 对象。 要了解有关此修复的更多信息，请参阅 KAFKA-395 Jira 问题。

1.11.1 中的新功能

  • 修复文档中部分字段名称的通配符匹配问题。 要了解有关此修复的更多信息，请参阅 KAFKA-391 Jira 问题。

  • 修复当connector尝试记录配置设置的空值时引发空指针异常的问题。 要了解有关此修复的更多信息，请参阅 KAFKA-390 Jira 问题。

1.11 中的新功能

  • 在 topic.namespace.map 属性中新增了对正则表达式的支持。要了解更多关于此功能的信息并查看用法示例，请参阅主题命名页中的正则表达式用法示例。

  • 增加了对使用 delete.writemodel.strategy 配置属性设置自定义删除写入模型策略的支持。要了解更多信息，请参阅 Sink 连接器编写模型策略。

  • 添加了UpdateOneDefaultStrategy写入模型策略。 要学习；了解更多信息，请参阅写入模型策略列表。

  • 添加了 change.stream.document.key.as.key 源连接器配置属性。当设置为 true 时，连接器会将已删除文档的密钥添加到 tombstone 事件中。当设置为 false 时，连接器会使用恢复令牌作为 tombstone 事件的源密钥。

    由于此属性默认设置为 true，对于一些用户来说，这可能是重大变更。要了解详情，请参阅变更流属性列表。

  • 来自 DEBEZIUM 的 DDL 事件被记录为无操作，并且不再触发错误。

1.10.1 中的新功能

重要

升级到版本 1.10.1

版本 1.9 引入了与 MongoSourceTask.start 相关的错误，该错误可能导致连接器端和服务器端的资源泄漏。

如果您使用的是1.9或1.10版本的Connector，请升级到1.10.1版本。

  • 修复了版本 1.9 中引入的与 MongoSourceTask.start 相关的资源泄漏。

1.10 中的新功能

  • 已将连接器名称添加到 JMX 监控指标。

  • 通过创建以下配置选项添加了对 SSL 的支持：

    • connection.ssl.truststore

    • connection.ssl.truststorePassword

    • connection.ssl.keystore

    • connection.ssl.keystorePassword

  • 确保驱动程序在验证配置提供程序中的配置值之前对其进行解析。

1.9.1 中的新功能

  • 更正了嵌套数组中文档的模式推理行为。

1.9 中的新功能

  • 引入了startup.mode=timestamp设置，允许您通过设置新的startup.mode.timestamp.start.at.operation.time属性在特定时间戳启动变更流。

  • 已弃用copy.existing属性和所有copy.existing.*属性。 使用startup.mode=copy_existing和startup.mode.copy.existing.*属性配置复制现有功能。

  • 引入了change.stream.full.document.before.change设置，允许您在变更流事件文档中访问权限和配置更新操作的前像。

  • 改进了数组中包含的嵌套文档的模式推断。

  • 引入了publish.full.document.only.tombstones.on.delete设置，该设置将 connector 配置为在删除文档时发送 tombstone 事件。此设置仅适用于当 publish.full.document.only 为 true 时。

  • 已将 MongoDB 服务器异常信息添加到死信队列的消息。

1.8.1 中的新功能

  • 已将 JMX MBean 中 getAttribute() 和 getAttributes() 方法调用返回的类型更正为 Attribute。

1.8 中的新功能

  • 将MongoDB Java驾驶员依赖项更新至版本4.7 。

  • 在源连接器和接收器连接器中添加了多个记录器事件和详细信息，以帮助调试。 有关更新的完整列表，请参阅 KAFKA-302 Jira 中的问题。

  • 增加了对源连接器和接收器连接器的 JMX 监控支持。要了解有关监控连接器的更多信息，请参阅监控页面。

接收器连接器

  • 增加了对 Debezium MongoDB 变更流 CDC 处理程序的支持。您现在可以配置 connector 来监听此处理程序产生的事件。

1.7 中的新功能

  • 已将 MongoDB Java 驱动程序依赖项更新到版本 4.5

接收器连接器

  • 如果 connector 遇到批量写入错误，则添加死信队列错误报告

  • 使用 bulk.write.ordered 配置属性添加了对无序批量写入的支持

  • 在尝试将更改数据捕获（CDC） 处理程序与后处理器一起使用时添加了警告

  • 删除了对 max.num.retries 配置属性的支持

  • 删除了对 retries.defer.timeout 配置属性的支持

重要

通过连接 URI 禁用重试

如要禁用重试，请在 MongoDB 连接 URI 中指定 retryWrites=false 选项。

以下配置（包含占位符 MongoDB 连接 URI）已禁用重试：

connection.uri=mongodb://mongodb0.example.com:27017,mongodb1.example.com:27017,mongodb2.example.com:27017/?replicaSet=myRepl&retryWrites=false

要学习；了解有关将MongoDB Kafka Connector到MongoDB的更多信息，请参阅连接到MongoDB指南。

要了解有关连接 URI 选项的更多信息，请参阅 MongoDB Java 驱动程序文档中的连接选项指南。

来源连接器

  • 添加了对使用topic.separator配置属性的用户定义主题分隔符的支持

  • 在使用copy.existing.allow.disk.use配置属性的复制现有聚合中添加了对MongoDB查询API的允许磁盘使用字段的支持

  • 添加了对 Avro 模式命名空间 的支持 在output.schema.value 和output.schema.key 配置属性 中

缺陷修复

  • 修复了 Avro 模式联合验证

1.6.1 中的新功能

  • 将组合 JAR 中的MongoDB Java驾驶员依赖项更新为4.3.1

缺陷修复

  • 修复连接验证器用户权限检查

  • 已修复 UuidProvidedIn[Key|Value]Strategy 类中导致无法加载的错误

1.6 中的新功能

  • 添加了对Stable API的支持，以强制服务器以与指定API版本兼容的行为运行操作

    注意

    从 2022 年 2 月开始，版本化 API 被称为 Stable API。此次命名更改后，所有概念和功能均保持不变。

  • 为 sink connector 和 source connector 添加了错误处理属性，可覆盖 Kafka Connect 框架的错误处理行为

  • 添加了 mongo-kafka-connect-<version>-confluent.jar，其中包含connector以及在 Confluence 平台上运行该连接器所需的所有依赖项

接收器连接器

来源连接器

  • 没有新的更改、添加或改进

缺陷修复

  • 更正了 LazyBsonDocument#clone 的行为，以响应解包后所做的任何更改

  • 修复了 Source Connector 中的时间戳整数溢出问题

  • 已更新为可在 Source Connector 中调用 getMore() 方法时启用恢复

  • 进行了更新，启用从由于源Connector中大于 16 MB 的事件大小而导致的损坏的变更流中恢复

1.5 中的新功能

  • 已将 MongoDB Java 驱动程序依赖项更新到版本 4.2

接收器连接器

  • 添加了DeleteOneBusinessKeyStrategy写入策略以从主题中删除记录

  • 增加了对处理错误记录的支持，这些记录在被处理时会导致问题

  • 增加了对 Qlik 复制变更数据捕获 (CDC) 的支持，以处理事件流

来源连接器

  • 将 BsonDocument 替换为 RawBsonDocument

  • 改进了 copy.existing 命名空间的处理

  • 改进了无效管道操作符的错误消息

  • 通过将心跳设为逻辑删除消息来提高心跳效率

缺陷修复

  • 已更正推断模式的命名约定

  • 进行更新以确保模式可以向后兼容

  • 修复 Sink 验证问题 topics.regex

  • 修复了与 Confluence Connect 6.1.0一起使用时出现的 Sink NPE 问题

  • 已更新以确保变更流游标关闭，以便仅报告存在的错误

  • 更改为仅当显式添加投影时才包含或排除投影的 _id 字段

1.4 中的新功能

  • 将MongoDB Java驱动程序更新至版本4.1

接收器连接器

  • 添加了对基于MongoDB变更流事件的变更数据捕获 (CDC) 的支持

  • 添加了 NamespaceMapper 接口，允许动态名称空间映射

来源连接器

  • 已添加 TopicMapper 接口，支持主题映射

缺陷修复

  • 将顶级推断模式更改为强制模式

  • 修复 Sink Connector 中的验证问题和合成配置属性

  • 更正了一般异常日志记录

  • 已更新为克隆 LazyBsonDocument 而不是未包装的 BsonDocument

1.3 中的新功能

  • 为最新的Kafka Connector和 Confluent Platform 版本添加了自动集成测试，以确保兼容性

接收器连接器

  • 对包含 Bson 字节类型的记录增加了支持

  • 添加了对errors.tolerance属性的支持

  • 已将默认设置 max.num.retries 更改为 1

  • 已改进业务键错误的错误消息

  • 改进了对 List 和 JSON 数组配置选项的错误处理

  • 已更新为在键更新策略中对筛选器使用点符号

来源连接器

  • 添加了将键或值输出为 Bson 字节类型的支持

  • 已添加对模式和自定义 Avro 模式定义的支持

  • 增加了对死信队列和 errors.tolerance 属性的支持

  • 添加了以下格式化程序的配置：

    • DefaultJson

    • ExtendedJson

    • SimplifiedJson

  • 为 copy.existing.pipeline 添加了配置，以让您在复制过程中使用索引

  • 为 copy.existing.namespace.regex 添加了配置，以便您复制命名空间过滤

  • 为 offset.partition.name 添加了配置，以允许自定义分区命名策略

  • 已更新以验证fullDocument字段是否为文档

  • 更新了偏移分区映射中的连接字符串的净化功能，以改进 connection.uri、database 和 collection 参数的维护

  • 已更新为禁止发布无主题名称的源记录

缺陷修复

  • 当源连接器中的集合不存在时，已停止 MongoDB 3.6 复制现有问题

1.2 版新增功能

接收器连接器

重要

我们已弃用以下后处理器：

  • BlacklistKeyProjector

  • BlacklistValueProjector

  • WhitelistKeyProjector

  • WhitelistValueProjector

如果您正在使用其中一个后处理器，请改用相应的后处理器以保证未来的兼容性：

  • BlockListKeyProjector

  • BlockListValueProjector,

  • AllowListKeyProjector

  • AllowListValueProjector

  • 添加了以下属性的配置：

    • document.id.strategy.overwrite.existing

    • UuidStrategy 输出类型

    • document.id.strategy.partial.value.projection.type

    • document.id.strategy.partial.value.projection.list

    • document.id.strategy.partial.key.projection.type

    • document.id.strategy.partial.key.projection.list

    • UuidProvidedInKeyStrategy

    • UuidProvidedInValueStrategy

  • 添加了 UpdateOneBusinessKeyTimestampStrategy 后处理器

  • 通过将主题分区分配给任务，添加了对并行性和可扩展数据复制的内置支持

来源连接器

  • 改进了缺少恢复令牌的错误消息

缺陷修复

  • 删除了源数据库不存在时 MongoCopyDataManager 报告的异常情况

  • 修复了复制 Source Connector 中现有的可恢复性错误

1.1 中的新增功能

接收器连接器

  • 添加了对topics.regex属性的支持

  • 已更新为忽略未使用的源记录键或值字段

  • 使用以下内容添加了对连接的验证： MongoSinkConnector.validate

来源连接器

  • 使用以下内容添加了对连接的验证： MongoSourceConnector.validate

缺陷修复

  • 移除了在源连接器中恢复变更流时出现的 "Unrecognized field: startAfter" 错误

1.0 中的新功能

初始 GA发布。

后退

MongoDB Kafka Connector

来年

快速入门