릴리스 노트

MongoDB connector 용 Spark 10.4

10.4 connector 출시하다 에는 다음과 같은 변경 사항과 새로운 기능이 포함되어 있습니다.

• Java Sync Driver 버전을 v5.1.x로 업데이트합니다.

MongoDB connector 용 Spark 10.3

10.3 커넥터 릴리스에는 다음과 같은 새로운 기능이 포함되어 있습니다.

• Spark v3.3 에 대한 지원이 추가되었습니다. v3.4 및 v3.5.

• 마이크로 배치 또는 연속 스트리밍 모드를 사용할 때 여러 컬렉션을 읽기 위한 지원이 추가되었습니다.

  경고

  호환성이 손상되는 변경

  여러 컬렉션 읽기 지원에 다음과 같은 호환성이 손상되는 변경이 도입되었습니다.

  • collection 구성 옵션에 사용된 컬렉션 이름에 쉼표가 포함된 경우 Spark Connector 는 이를 두 개의 서로 다른 컬렉션으로 취급합니다. 이를 방지하려면 앞에 백슬래시(\)를 붙여 쉼표를 이스케이프해야 합니다.

  • collection 구성 옵션에 사용된 컬렉션의 이름이 '*'인 경우 Spark Connector는 이를 모든 컬렉션을 스캔하는 사양으로 해석합니다. 이를 방지하려면 앞에 백슬래시(\)를 붙여 별표를 이스케이프 처리해야 합니다.

  • collection 구성 옵션에 사용된 컬렉션 이름에 백슬래시(\)가 포함된 경우 Spark Connector는 백슬래시를 이스케이프 문자로 처리하므로 값을 해석하는 방식이 변경될 수 있습니다. 이를 방지하려면 백슬래시 앞에 다른 백슬래시를 붙여 이스케이프 처리해야 합니다.

  여러 컬렉션을 스캔하는 방법에 학습 보려면 컬렉션 구성 속성 설명을 참조하세요.

MongoDB connector 용 Spark 10.2

10.2 connector 릴리스에는 다음과 같은 새로운 기능이 포함되어 있습니다.

• connector 가 null 값을 무시할지 여부를 제어할 수 있는 ignoreNullValues 쓰기 구성 속성이 추가되었습니다. 이전 버전에서는 connector 가 항상 MongoDB 에 null 값을 기록했습니다.

• convertJson 쓰기 구성 속성에 대한 옵션이 추가되었습니다.

• 병렬 처리를 위해 마이크로 배치를 여러 파티션으로 나눌 수 있는 change.stream.micro.batch.max.partition.count 읽기 구성 속성이 추가되었습니다.

• change.stream.publish.full.document.only 구성 읽기 속성을 사용할 때 변경 스트림 스키마 추론이 개선되었습니다.

• 오프셋을 사용할 수 없을 때 connector 가 변경 이벤트를 처리하는 방법을 지정하는 change.stream.startup.mode 읽기 구성 속성이 추가되었습니다.

• 작업에 댓글을 추가할 수 있도록 지원합니다.

MongoDB connector 용 Spark 10.1.1

• $collStats 파이프라인 단계를 포함한 애그리게이션이 Time Series 컬렉션에 대한 카운트 필드를 반환하지 않는 버그가 수정되었습니다.

MongoDB connector 용 Spark 10.1.0

• Scala 2.13을 지원합니다.

• Spark Structured Streaming으로 마이크로 배치 모드를 지원합니다.

• BSON 데이터 유형을 지원합니다.

• 빈 컬렉션에 대한 파티셔너 지원이 개선되었습니다.

• 쓰기 작업 시 자동 업서트를 비활성화하는 옵션입니다.

• 빈 배열에 대한 스키마 추론이 개선되었습니다.

• 배열 및 목록에서 null 값을 지원합니다. 이제 connector 는 예외를 발생시키는 대신 이러한 값을 MongoDB 에 씁니다.

자세한 내용은 의 이 게시 MongoDB Blog 을 참조하세요.

MongoDB connector 용 Spark 10.0.0

• Spark 구조화된 스트리밍을 지원합니다.