Docs Menu
Docs Home
/
MongoDB Kafka Connector

새로운 기능

이 페이지의 내용

  • 1.13의 새로운 기능
  • 1.12의 새로운 기능
  • 1.11.2의 새로운 기능
  • 1.11.1의 새로운 기능
  • 1.11의 새로운 기능
  • 1.10.1의 새로운 기능
  • 1.10의 새로운 기능
  • 1.9.1의 새로운 기능
  • 1.9의 새로운 기능
  • 1.8.1의 새로운 기능
  • 1.8의 새로운 기능
  • 1.7의 새로운 기능
  • 1.6.1의 새로운 기능
  • 1.6의 새로운 기능
  • 1.5의 새로운 기능
  • 1.4의 새로운 기능
  • 1.3의 새로운 기능
  • 1.2의 새로운 기능
  • 1.1의 새로운 기능
  • 1.0의 새로운 기능

버전별 새로운 기능을 알아보세요.

  • 1.13버전

  • 1.12버전

  • 버전 1.11.2

  • 버전 1.11.1

  • 1.11버전

  • 버전 1.10.1

  • 1.10버전

  • 버전 1.9.1

  • 버전 1.9

  • 버전 1.8.1

  • 1.8버전

  • 1.7버전

  • 버전 1.6.1

  • 1.6버전

  • 버전 1.5

  • 1.4버전

  • 1.3버전

  • 1.2버전

  • 1.1버전

  • 1.0버전

1.13의 새로운 기능

  • 소스 및 싱크 커넥터에 대한 사용자 지정 인증 제공자 인터페이스가 추가되었습니다. 이 기능 을 사용하면 connector 에서 사용자 지정 구현 클래스를 쓰기 (write) 하고 사용할 수 있습니다. 학습 내용은 사용자 지정 인증 제공자 가이드 를 참조하세요.

  • 구성에 시크릿이 포함되어 있고 Provider 프레임워크 를 사용한 경우 소스 및 싱크 커넥터에 대한 구성의 유효성을 검사할 때 발생하는 문제를 수정했습니다. 이 수정 사항에 학습 보려면 KAFKA-414 를 참조하세요. JIRA 이슈.

1.12의 새로운 기능

  • mongo.errors.tolerance 구성 설정에서 data 구성 값에 대한 지원 이 추가되었습니다. mongo.errors.tolerance=data 를 사용하면 싱크 connector 는 데이터 오류만 허용하고 다른 오류는 실패합니다.

1.11.2의 새로운 기능

  • 변경 INFO ERROR 스트림에서 항목을 검색하려는 시도가 실패하면 수준이 아닌 수준에서 기록되는 버그가 수정되었습니다. 이 수정 사항에 대해 자세히 알아보려면 KAFKA-396 를 참조하세요. JIRA 이슈.

  • DELETE_WRITEMODEL_STRATEGY_CONFIG string 값에 대한 요구 사항으로 인해 DeleteOneDefaultStrategy 객체를 만들 수 없는 버그가 수정되었습니다. 이 수정 사항에 대해 자세히 알아보려면 KAFKA-395 를 참조하세요. JIRA 이슈.

1.11.1의 새로운 기능

  • 문서의 부분 필드 이름에서 와일드카드 일치가 수정되었습니다. 이 수정 사항에 대해 자세히 알아보려면 KAFKA-391 를 참조하세요. JIRA 이슈.

  • connector 가 구성 설정에 null 값을 기록하려고 할 때 null 포인터 예외가 발생하는 문제를 수정했습니다. 이 수정 사항에 대해 자세히 알아보려면 KAFKA-390 를 참조하세요. JIRA 이슈.

1.11의 새로운 기능

  • topic.namespace.map 속성에서 정규 표현식에 대한 지원이 추가되었습니다. 이 기능에 대해 자세히 알아보고 사용 예시를 보려면 주제 이름 지정 페이지의 정규 표현식 사용 예시를 참조하세요.

  • delete.writemodel.strategy 구성 속성을 사용하여 사용자 지정 삭제 쓰기 모델 전략을 설정하기 위한 지원이 추가되었습니다. 자세한 내용은 싱크 커넥터 쓰기 모델 전략을 참조하세요.

  • UpdateOneDefaultStrategy 쓰기 (write) 모델 전략이 추가되었습니다. 학습 내용은 모델 전략 작성 목록을 참조하세요.

  • change.stream.document.key.as.key 소스 커넥터 구성 속성을 추가했습니다. true로 설정하면 커넥터는 삭제된 문서의 키를 툼스톤 이벤트에 추가합니다. false로 설정되면 커넥터는 재개 토큰을 툼스톤 이벤트의 소스 키로 사용합니다.

    이 속성은 기본적으로 true(으)로 설정되므로 일부 사용자의 경우 호환성이 손상되는 변경일 수 있습니다. 자세한 내용은 스트림 속성 변경 목록을 참조하세요.

  • Debezium의 DDL 이벤트는 무연산으로 기록되며 더 이상 오류를 일으키지 않습니다.

1.10.1의 새로운 기능

중요

버전 1.10.1으로 업그레이드

버전 1.9 버전에서 커넥터 사이드와 서버 사이드 모두에서 리소스 유출을 일으킬 수 있는 MongoSourceTask.start 관련 버그가 도입되었습니다.

connector 의 버전 1.9 또는 1.10 을 사용하는 경우 버전 1.10.1 로 업그레이드합니다.

  • 버전 1.9에서 도입된 MongoSourceTask.start 관련 리소스 유출을 수정했습니다.

1.10의 새로운 기능

  • JMX 모니터링 지표에 커넥터 이름을 추가했습니다.

  • 다음 구성 옵션을 생성하여 SSL에 대한 지원을 추가했습니다.

    • connection.ssl.truststore

    • connection.ssl.truststorePassword

    • connection.ssl.keystore

    • connection.ssl.keystorePassword

  • 드라이버가 구성 공급자의 구성 값을 검증하기 전에 구문 분석하는지 확인했습니다.

1.9.1의 새로운 기능

  • 중첩 배열의 문서에 대한 스키마 추론 동작을 수정했습니다.

1.9의 새로운 기능

  • 새 startup.mode.timestamp.start.at.operation.time 속성 을 설정하여 특정 타임스탬프에 변경 스트림을 시작할 수 있는 startup.mode=timestamp 설정이 도입되었습니다.

  • copy.existing 속성 및 모든 copy.existing.* 속성이 더 이상 사용되지 않습니다. startup.mode=copy_existing 및 startup.mode.copy.existing.* 속성을 사용하여 기존 복사 기능 을 구성합니다.

  • 변경 스트림 이벤트 문서 에서 업데이트 작업의 사전 이미지에 액세스 하고 구성할 수 있는 change.stream.full.document.before.change 설정이 도입되었습니다.

  • 배열에 포함된 중첩 문서에 대한 스키마 추론 이 개선되었습니다.

  • 문서가 삭제될 때 툼스톤 이벤트를 전송하도록 커넥터를 구성하는 publish.full.document.only.tombstones.on.delete 설정을 도입했습니다. 이 설정은 publish.full.document.only (이)가 true 인 경우에만 적용됩니다.

  • 데드 레터 큐 메시지에 MongoDB 서버 예외 정보를 추가했습니다.

1.8.1의 새로운 기능

  • JMX MBeans의 getAttribute() 및 getAttributes() 메서드 호출에서 반환되는 유형을 Attribute(으)로 수정했습니다.

1.8의 새로운 기능

  • MongoDB Java 운전자 종속성을 버전 4.7 으로 업데이트했습니다.

  • 디버깅에 도움이 되도록 소스 및 싱크 커넥터에 몇 가지 로거 이벤트와 세부 정보를 추가했습니다. 전체 업데이트 목록은 KAFKA-302 를 참조하세요. JIRA의 이슈.

  • 소스 및 싱크 커넥터에 대한 JMX 모니터링 지원이 추가되었습니다. 모니터링 커넥터에 대해 자세히 알아보려면 모니터링 페이지를 참조하세요.

싱크 커넥터

  • Debezium MongoDB 변경 스트림 CDC 처리기에 대한 지원이 추가되었습니다. 이제 이 처리기에서 생성된 이벤트를 수신하도록 커넥터를 구성할 수 있습니다.

1.7의 새로운 기능

  • MongoDB Java 드라이버 종속성을 버전 4.5로 업데이트했습니다.

싱크 커넥터

  • 커넥터에 대량 쓰기 오류가 발생하는 경우 데드 레터 큐 오류 보고서 추가

  • bulk.write.ordered 구성 속성을 사용하여 정렬되지 않은 대량 쓰기에 대한 지원이 추가되었습니다.

  • 게시 프로세서와 함께 변경 데이터 캡처(CDC) 처리기를 사용하려고 할 때 경고가 추가되었습니다.

  • max.num.retries 구성 속성에 이루어졌던 지원을 제거했습니다.

  • retries.defer.timeout 구성 속성에 이루어졌던 지원을 제거했습니다.

중요

연결 URI를 통한 재시도 비활성화

재시도를 비활성화하려면 MongoDB 연결 URI에서 retryWrites=false 옵션을 지정합니다.

자리 표시자 MongoDB 연결 URI가 포함된 다음 구성은 재시도를 비활성화합니다.

connection.uri=mongodb://mongodb0.example.com:27017,mongodb1.example.com:27017,mongodb2.example.com:27017/?replicaSet=myRepl&retryWrites=false

MongoDB Kafka Connector 를 MongoDB 에 연결하는 방법에 학습 보려면 MongoDB에 MongoDB 가이드 를 참조하세요.

연결 URI 옵션에 대해 자세히 알아보려면 MongoDB Java 드라이버 설명서의 연결 옵션 가이드를 참조하세요.

소스 커넥터

  • topic.separator 구성 속성 을 사용하여 사용자 정의 주제 구분 기호에 대한 지원 이 추가되었습니다.

  • copy.existing.allow.disk.use 구성 속성 이 있는 기존 집계 복사에서 MongoDB 쿼리 API 의 디스크 사용 허용 필드 에 대한 지원 이 추가되었습니다.

  • Avro 스키마 네임스페이스 에 대한 지원 추가 및 구성 output.schema.value output.schema.key 속성 에서

버그 수정

  • Avro 스키마 유니온 유효성 검사 수정

1.6.1의 새로운 기능

  • 결합된 JAR에서 MongoDB Java 운전자 종속성을 4.3.1 으로 업데이트했습니다.

버그 수정

  • 연결 유효성 검사기 사용자 권한 검사 수정

  • UuidProvidedIn[Key|Value]Strategy 클래스의 버그로 인해 로드되지 않는 문제를 수정했습니다.

1.6의 새로운 기능

  • 서버 가 지정된 API 버전과 호환되는 동작으로 작업을 실행 하도록 강제하는 Stable API 에 대한 지원 이 추가되었습니다.

    참고

    2022년 2월부터 버전이 지정된 API는 Stable API로 표시됩니다. 이름은 변경되나 모든 개념과 기능은 동일하게 유지됩니다.

  • Kafka Connect 프레임워크의 오류 처리 동작을 재정의할 수 있는 sink connector 및 source connector에 대한 오류 처리 속성이 추가되었습니다.

  • Confluent 플랫폼에서 커넥터를 실행하는 데 필요한 모든 종속성과 connector 를 포함하는 mongo-kafka-connect-<version>-confluent.jar이 추가되었습니다.

싱크 커넥터

소스 커넥터

  • 새로운 변경, 추가 또는 개선 사항이 없습니다.

버그 수정

  • LazyBsonDocument#clone의 동작이 래핑 해제 후 변경된 사항에 응답하도록 수정했습니다.

  • Source Connector의 타임스탬프 정수 오버플로 수정했

  • 소스 커넥터에서 getMore() 메서드를 호출할 때 복구를 사용할 수 있도록 업데이트

  • 소스 Connector의 이벤트 크기가 16 MB를 초과하여 중단된 변경 스트림 을 복구할 활성화 업데이트되었습니다.

1.5의 새로운 기능

  • MongoDB Java 드라이버 종속성을 버전 4.2로 업데이트했습니다.

싱크 커넥터

  • 주제 에서 레코드를 제거 하는 DeleteOneBusinessKeyStrategy 쓰기 (write) 전략이 추가되었습니다.

  • 처리 시 문제를 일으키는 잘못된 레코드 처리를 위한 지원 추가

  • 이벤트 스트림을 처리하기 위한 Qlik 복제 CDC(변경 데이터 캡처)에 대한 지원 추가

소스 커넥터

  • BsonDocument를 RawBsonDocument로 대체

  • copy.existing 네임스페이스 처리를 개선했습니다.

  • 유효하지 않은 파이프라인 연산자에 대한 오류 메시지 개선

  • 하트비트를 툼스톤 메시지로 만들어 효율성 개선

버그 수정

  • 추론된 스키마 명명 규칙을 수정했습니다.

  • 스키마가 이전 버전과 호환될 수 있도록 업데이트되었습니다.

  • 다음 싱크 유효성 검사 문제를 수정했습니다. topics.regex

  • Confluent Connect 6.1.0과 함께 사용할 때 싱크 NPE 문제를 수정했습니다.

  • 변경 스트림 커서가 닫히도록 업데이트되어 존재하는 오류만 보고합니다.

  • 명시적으로 추가된 경우에만 프로젝션에 _id 필드를 포함하거나 제외하도록 변경되었습니다.

1.4의 새로운 기능

  • MongoDB Java 드라이버 를 버전 4.1으로 업데이트했습니다.

싱크 커넥터

  • MongoDB 변경 스트림 이벤트 기반 변경 데이터 캡처(CDC)에 대한 지원 추가

  • 동적 네임스페이스 매핑을 허용하기 위해 NamespaceMapper 인터페이스 추가

소스 커넥터

  • 주제 매핑을 허용하도록 TopicMapper 인터페이스를 추가했습니다.

버그 수정

  • 최상위 추론 스키마 를 필수로 변경했습니다.

  • 싱크 Connector의 유효성 검사 문제 및 합성 구성 속성 을 수정했습니다.

  • 일반 예외 로깅 수정

  • 래핑되지 않은 BsonDocument대신 LazyBsonDocument (을)를 복제하도록 업데이트되었습니다.

1.3의 새로운 기능

  • 호환성을 보장하기 위해 최신 Kafka Connector 및 Confluent Platform 버전에 대한 자동화된 통합 테스트를 추가했습니다.

싱크 커넥터

  • Bson 바이트 유형이 포함된 레코드에 대한 지원 추가

  • errors.tolerance 속성 에 대한 지원 이 추가되었습니다.

  • max.num.retries 기본값을 1(으)로 변경했습니다.

  • 비즈니스 키 오류에 대한 오류 메시지를 개선했습니다.

  • List 및 JSON 배열 구성 옵션에 대한 오류 처리를 개선했습니다.

  • 키 업데이트 전략에서 필터에 점 표기법을 사용하도록 업데이트되었습니다.

소스 커넥터

  • 키 또는 값을 Bson 바이트 유형으로 출력하는 지원을 추가했습니다.

  • 스키마 및 사용자 지정 Avro 스키마 정의에 대한 지원이 추가되었습니다.

  • 데드 레터 큐 및 errors.tolerance 속성에 대한 지원을 추가했습니다.

  • 다음 포맷터에 대한 구성이 추가되었습니다.

    • DefaultJson

    • ExtendedJson

    • SimplifiedJson

  • 복사 프로세스 중에 인덱스를 사용할 수 있도록 copy.existing.pipeline에 대한 구성을 추가함

  • 네임스페이스 필터링을 복사할 수 있도록 copy.existing.namespace.regex 에 대한 구성이 추가되었습니다.

  • 사용자 지정 분할 명명 전략을 허용하기 위해 offset.partition.name에 대한 구성 추가

  • fullDocument 필드 가 문서 인지 확인하도록 업데이트되었습니다.

  • connection.uri, database 및 collection 매개변수의 유지 관리를 개선하기 위해 오프셋 파티션 맵에서 연결 문자열을 삭제하도록 업데이트

  • 주제 이름 없이 원본 기록 게시를 비활성화하도록 업데이트되었습니다.

버그 수정

  • 소스 커넥터에 컬렉션이 없을 때 MongoDB 3.6이 기존 문제를 복사하는 것을 중지했습니다.

1.2의 새로운 기능

싱크 커넥터

중요

다음 게시 프로세서를 더 이상 사용하지 않습니다.

  • BlacklistKeyProjector

  • BlacklistValueProjector

  • WhitelistKeyProjector

  • WhitelistValueProjector

이러한 포스트 프로세서 중 하나를 사용하는 경우 향후 호환성을 위해 대신 해당 포스트 프로세서를 사용하세요.

  • BlockListKeyProjector

  • BlockListValueProjector,

  • AllowListKeyProjector

  • AllowListValueProjector

  • 다음 속성에 대한 구성이 추가되었습니다.

    • document.id.strategy.overwrite.existing

    • UuidStrategy 출력 유형

    • document.id.strategy.partial.value.projection.type

    • document.id.strategy.partial.value.projection.list

    • document.id.strategy.partial.key.projection.type

    • document.id.strategy.partial.key.projection.list

    • UuidProvidedInKeyStrategy

    • UuidProvidedInValueStrategy

  • UpdateOneBusinessKeyTimestampStrategy 포스트 프로세서를 추가함

  • 작업에 주제 파티션을 할당하여 병렬 처리 및 확장 가능한 데이터를 복사할 수 있도록 기본 지원을 추가했습니다.

소스 커넥터

  • 이력서 토큰 누락에 대한 오류 메시지를 개선했습니다.

버그 수정

  • 원본 데이터베이스가 존재하지 않을 때 MongoCopyDataManager에서 보고한 예외를 제거

  • 소스 커넥터에서 기존 복사 재개 가능성 오류를 수정했습니다.

1.1의 새로운 기능

싱크 커넥터

  • topics.regex 속성 에 대한 지원 이 추가되었습니다.

  • 사용하지 않는 원본 기록 키 또는 값 필드를 무시하도록 업데이트되었습니다.

  • 다음을 사용하여 연결에 대한 유효성 검사가 추가되었습니다. MongoSinkConnector.validate

소스 커넥터

  • 다음을 사용하여 연결에 대한 유효성 검사가 추가되었습니다. MongoSourceConnector.validate

버그 수정

  • 소스 커넥터에서 변경 스트림을 재개하기 위한 "Unrecognized field: startAfter" 오류를 제거했습니다.

1.0의 새로운 기능

초기 GA 출시하다 입니다.

돌아가기

MongoDB Kafka Connector

다음

빠른 시작