java spark 操作 mongo实践

java spark 操作 mongo实践

按照官方文档配置
https://docs.mongodb.com/spark-connector/master/java-api/
需要说明一下，官方文档中要求引入的pom 文件不全
如果你是用IDEA 创建的springboot项目 要注意 不要引入
spring-boot-starter-data-mongodb

下面是完整的pom引用,里面的exclusions 主要是解决spark的日志级别问题，不加默认是debug 会有很多日志信息，比较难受。

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 https://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>
    <parent>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-parent</artifactId>
        <version>1.5.21.RELEASE</version>
        <relativePath/> <!-- lookup parent from repository -->
    </parent>
    <groupId>com.**</groupId>
    <artifactId>spark-java-mongo-demo</artifactId>
    <version>0.0.1-SNAPSHOT</version>
    <name>spark-java-mongo-demo</name>
    <description>Demo project for Spring Boot</description>

    <properties>
        <java.version>1.8</java.version>
        <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
        <project.reporting.outputEncoding>UTF-8</project.reporting.outputEncoding>
    </properties>

    <dependencies>
  <!--   不要引用这个jar 会有冲突，报错 --> 
<!--        <dependency>-->
<!--            <groupId>org.springframework.boot</groupId>-->
<!--            <artifactId>spring-boot-starter-data-mongodb</artifactId>-->
<!--        </dependency>-->
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-web</artifactId>
            <exclusions>
                <exclusion>
                    <groupId>ch.qos.logback</groupId>
                    <artifactId>logback-classic</artifactId>
                </exclusion>
            </exclusions>
        </dependency>

        <dependency>
            <