MongoDB Connector para Spark
O conector do MongoDB para Spark fornece integração entre MongoDB e Apache Spark.
Observação
10A versão.x do MongoDB Spark Connector conector do para totalmente novo com base na mais recente do Spark API. Instale e migre para a versão 10.x para aproveitar os novos recursos, como integração mais estreita com o Spark Structured Streaming.
A versão 10.x utiliza o novo namespace com.mongodb.spark.sql.connector.MongoTableProvider. Com isso é possível usar versões antigas do conector (versões 3.x e anteriores) em paralelo com a versão 10.x.
Para saber mais sobre o novo conector e suas vantagens, consulte o o anúncio do MongoDB no blog.
Com o conector, você tem acesso a todas as bibliotecas do Spark para uso com conjuntos de dados do MongoDB: Dataset para análise com SQL (beneficiando-se da inferência automática de esquemas), transmissão, machine learning e APIs de gráficos. Você também pode usar o conector com o Spark Shell.
O conector Spark do MongoDB é compatível com as seguintes versões do Apache Spark e MongoDB:
MongoDB Connector para Spark | Versão do Spark | Versão do MongoDB |
|---|---|---|
10.4.0 | 3.1 a 3.5 | 4.0 ou posterior |