변경 스트림

집계

집계 파이프라인을 사용하여 소스 connector 의 변경 스트림을 구성합니다. 집계 파이프라인을 사용하여 다음 작업을 포함한 작업을 수행하도록 connector 변경 스트림을 구성할 수 있습니다.

• 작업 유형별 변경 이벤트 필터링

• 프로젝트 특정 필드

• 필드 값 업데이트

• 필드 추가

• 변경 스트림에서 생성되는 데이터의 양 줄이기

변경 스트림과 함께 사용할 수 있는 집계 연산자에 대한 자세한 내용은 MongoDB 설명서의 변경 스트림 출력 수정 가이드를 참조하세요.

집계 파이프라인을 사용하여 변경 스트림을 수정하는 예시를 보려면 다음 페이지를 참조하세요.

• 변경 이벤트 필터링을 위한 파이프라인 사용자 정의 사용 예시

• 기존 데이터 복사 사용 예시

이벤트 구조 변경

모든 필드에 대한 설명을 포함한 변경 이벤트 문서의 전체 구조 는 MongoDB 매뉴얼에서 확인할 수 있습니다.

성능

oplog는 인덱스를 사용할 수 없는 특수 고정 사이즈 컬렉션입니다. 이 제한에 대한 자세한 내용은 Change Streams 프로덕션 권장 사항을 참조하세요.

변경 스트림 성능을 개선하려면 MongoDB cluster 에 더 빠른 디스크를 사용하고 WiredTiger 캐시 크기를 늘리세요. WiredTiger 캐시를 설정하는 방법을 알아보려면 WiredTiger storage engine 에 대한 가이드를 참조하세요.

토큰 재개

connector는 재개 토큰(resume token)을 오프셋으로 사용합니다. 오프셋은 connector가 처리한 소스 데이터를 추적하기 위해 Apache Kafka 주제에 저장하는 값입니다. connector는 재시작할 때나 충돌로부터 복구해야 할 때 오프셋 값을 사용합니다. 재개 토큰은 MongoDB oplog에 있는 변경 이벤트 문서의 _id 필드를 참조하는 데이터 입니다.

소스 connector에 오프셋이 없는 경우(예: connector를 처음 시작할 때) connector가 새 변경 스트림을 시작합니다. connector가 첫 번째 변경 이벤트 문서를 수신하고 해당 문서를 Apache Kafka에 게시하면 connector는 해당 문서의 재개 토큰을 오프셋으로 저장합니다.

소스 커넥터 오프셋의 재개 토큰 값이 MongoDB 배포서버 oplog의 항목과 일치하지 않는 경우 커넥터에 잘못된 재개 토큰이 있는 것입니다. 유효하지 않은 재개 토큰에서 복구하는 방법을 알아보려면 유효하지 않은 토큰 문제 해결 가이드를 참조하세요.

재개 토큰에 대해 자세히 알아보려면 다음 리소스를 참조하세요.

• MongoDB 매뉴얼에서 변경 스트림 재개

• MongoDB 매뉴얼의 이벤트 변경

오프셋에 대해 자세히 알아보려면 다음 리소스를 참조하세요:

• Kafka Connect offset.storage.topic 구성 옵션 문서

• Kafka Connect OffsetStorageReader API 설명서