Spark용 MongoDB Connector
Spark용 MongoDB 커넥터는 MongoDB와 Apache Spark 간의 통합을 제공합니다.
참고
MongoDB Spark Connector 의 버전 10.x는 최신 Spark API 를 기반으로 하는 완전히 새로운 connector 입니다. 버전 10.x를 설치하고 마이그레이션 하여 Spark 구조화된 스트리밍과의 긴밀한 통합과 같은 새로운 기능을 활용하세요.
버전 10.x에서는 새 네임스페이스 com.mongodb.spark.sql.connector.MongoTableProvider을(를) 사용합니다. 이렇게 하면 이전 버전의 커넥터(버전 3.x 이하)를 버전 10.x와 병렬로 사용할 수 있습니다.
새로운 커넥터와 그 장점에 대해 자세히 알아보려면 MongoDB 블로그의 공지사항 게시물을 참조하세요.
커넥터를 사용하면 MongoDB 데이터 세트와 함께 사용할 수 있는 모든 Spark 라이브러리에 액세스할 수 있습니다. 이는 SQL(자동 스키마 추론의 이점 활용), 스트리밍, 머신 러닝 및 그래프 API를 사용한 분석을 위한 Dataset입니다. Spark Shell과 함께 커넥터를 사용할 수도 있습니다.
MongoDB Spark Connector는 다음 버전의 Apache Spark 및 MongoDB와 호환됩니다.
Spark용 MongoDB Connector | Spark 버전 | MongoDB 버전 |
|---|---|---|
10.4.0 | 3.1 부터 3.5 까지 | 4.0 이상 |