java.lang.NoSuchMethodError: org.apache.spark.util.ThreadUtils$.newDae

懂ni

1 <?xml version="1.0" encoding="UTF-8"?>　　
  2 <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/maven-v4_0_0.xsd">
　　
  3
　　
  4   <modelVersion>4.0.0</modelVersion>
　　
  5
　　
  6   <groupId>org.bianqi.spark.demo</groupId>
　　
  7   <artifactId>Spark01</artifactId>
　　
  8   <packaging>jar</packaging>
　　
  9   <version>1.0-SNAPSHOT</version>
　　
10
　　
11   <properties>
　　
12     <maven.compiler.source>1.7</maven.compiler.source>
　　
13     <maven.compiler.target>1.7</maven.compiler.target>
　　
14     <encoding>UTF-8</encoding>
　　
15     <scala.version>2.10.6</scala.version>
　　
16     <spark.version>1.6.1</spark.version>
　　
17     <hadoop.version>2.6.4</hadoop.version>
　　
18   </properties>
　　
19
　　
20   <dependencies>
　　
21     <dependency>
　　
22       <groupId>org.scala-lang</groupId>
　　
23       <artifactId>scala-library</artifactId>
　　
24       <version>${scala.version}</version>
　　
25     </dependency>
　　
26
　　
27     <dependency>
　　
28       <groupId>org.apache.spark</groupId>
　　
29       <artifactId>spark-core_2.10</artifactId>
　　
30       <version>${spark.version}</version>
　　
31     </dependency>
　　
32
　　
33     <dependency>
　　
34       <groupId>org.apache.hadoop</groupId>
　　
35       <artifactId>hadoop-client</artifactId>
　　
36       <version>${hadoop.version}</version>
　　
37     </dependency>
　　
38
　　
39     <dependency>
　　
40       <groupId>org.apache.spark</groupId>
　　
41       <artifactId>spark-sql_2.10</artifactId>
　　
42       <version>${spark.version}</version>
　　
43     </dependency>
　　
44
　　
45     <dependency>
　　
46       <groupId>mysql</groupId>
　　
47       <artifactId>mysql-connector-java</artifactId>
　　
48       <version>5.1.38</version>
　　
49     </dependency>
　　
50
　　
51     <dependency>
　　
52       <groupId>org.apache.spark</groupId>
　　
53       <artifactId>spark-streaming_2.10</artifactId>
　　
54       <version>${spark.version}</version>
　　
55     </dependency>
　　
56
　　
57   </dependencies>
　　
58
　　
59   <build>
　　
60     <sourceDirectory>src/main/scala</sourceDirectory>
　　
61     <testSourceDirectory>src/test/scala</testSourceDirectory>
　　
62     <plugins>
　　
63       <plugin>
　　
64         <groupId>net.alchim31.maven</groupId>
　　
65         <artifactId>scala-maven-plugin</artifactId>
　　
66         <version>3.2.2</version>
　　
67         <executions>
　　
68           <execution>
　　
69             <goals>
　　
70               <goal>compile</goal>
　　
71               <goal>testCompile</goal>
　　
72             </goals>
　　
73             <configuration>
　　
74               <args>
　　
75                 <arg>-make:transitive</arg>
　　
76                 <arg>-dependencyfile</arg>
　　
77                 <arg>${project.build.directory}/.scala_dependencies</arg>
　　
78               </args>
　　
79             </configuration>
　　
80           </execution>
　　
81         </executions>
　　
82       </plugin>
　　
83
　　
84       <plugin>
　　
85         <groupId>org.apache.maven.plugins</groupId>
　　
86         <artifactId>maven-shade-plugin</artifactId>
　　
87         <version>2.4.3</version>
　　
88         <executions>
　　
89           <execution>
　　
90             <phase>package</phase>
　　
91             <goals>
　　
92               <goal>shade</goal>
　　
93             </goals>
　　
94             <configuration>
　　
95               <filters>
　　
96                 <filter>
　　
97                   <artifact>*:*</artifact>
　　
98                   <excludes>
　　
99                     <exclude>META-INF/*.SF</exclude>
　　
100                     <exclude>META-INF/*.DSA</exclude>
　　
101                     <exclude>META-INF/*.RSA</exclude>
　　
102                   </excludes>
　　
103                 </filter>
　　
104               </filters>
　　
105             </configuration>
　　
106           </execution>
　　
107         </executions>
　　
108       </plugin>
　　
109     </plugins>
　　
110   </build>
　　
111 </project>