hadoop jar **.jar 与java -classpath **.jar运行mapreduce

sfyhip

　　运行mapreduce的jar包的命令是hadoop jar **.jar


　　运行普通main函数打的jar包的命令是java -classpath **.jar
　　由于一直不知道这两个命令的区别，所以我就固执的使用java -classpath **.jar来启动mapreduce。直到今天出现错误。
　　java -classpath **.jar是使jar包在本地运行，那么mapreduce就只在这一个节点上运行。所以特别慢。
　　当时为了检测为什么这么慢，开始以为是Mapper的数量太多了，就在代码里面设置了很多LOG信息，然后再java -classpath **.jar启动mapreduce后去观察log日志。
　　但是后来改正后使用hadoop jar **.jar来启动mapreduce后，才发现原来当初设置的log日志不会马上生成，因为Mapper被发送到了很多台机器上运行，所以不能马上得到返回结果。
　　之前由于是本地启动的mapreduce，所以中间文件全部生成在该节点上（这个节点只有50G的空间），后来被运维人员检测到，才把中间文件删除掉。


　　在打jar包时需要注意一个问题，就是用maven runas时，生成的jar包全部在lib下，在当前程序的jar包中只有自己的内容。所以需要用压缩程序将该jar包打开，在里面新建lib目录，然后把需要的jar包放进去（hadoop的jar包不用放），这样就可以只把这个jar包放到服务器上然后启动。
　　由于java -classpath **.jar是本地运行，那么只需要把工程所需的jar包放到同一个目录即可，
　　但是hadoop jar **.jar是在集群上运行，则需要将该工程所需要的jar包放到该工程jar包的内部。
　　将依赖jar包打到该工程jar包内形成一个总的jar包，可以在maven的pom.xml文件中使用如下配置：
　　<build>
<sourceDirectory>src</sourceDirectory>
<resources>
<resource>
<directory>conf</directory>
<excludes>
<exclude>**/*.java</exclude>
</excludes>
</resource>
</resources>
<pluginManagement>
<plugins>
<!-- Ignore/Execute plugin execution -->
<plugin>
<groupId>org.eclipse.m2e</groupId>
<artifactId>lifecycle-mapping</artifactId>
<version>1.0.0</version>
<configuration>
<lifecycleMappingMetadata>
<pluginExecutions>
<!-- copy-dependency plugin -->
<pluginExecution>
<pluginExecutionFilter>
<groupId>org.apache.maven.plugins</groupId>
<artifactId>maven-dependency-plugin</artifactId>
<versionRange>[1.0.0,)</versionRange>
<goals>
<goal>copy-dependencies</goal>
</goals>
</pluginExecutionFilter>
<action>
<ignore />
</action>
</pluginExecution>
</pluginExecutions>
</lifecycleMappingMetadata>
</configuration>
</plugin>
</plugins>
</pluginManagement>
<plugins>
<plugin>
<groupId>org.apache.maven.plugins</groupId>
<artifactId>maven-dependency-plugin</artifactId>
<executions>
<execution>
<id>copy-dependencies</id>
<phase>test</phase>
<goals>
<goal>copy-dependencies</goal>
</goals>
<configuration>
<excludeArtifactIds>hadoop-core</excludeArtifactIds>
<excludeGroupIds>org.slf4j</excludeGroupIds>
<outputDirectory>    //这里是关键
<span style=&quot;color:#FF0000;&quot;>target/classes/lib</span>
</outputDirectory>
</configuration>
</execution>
</executions>
</plugin>
<plugin>
<artifactId>maven-compiler-plugin</artifactId>
<version>2.3.2</version>
<configuration>
<source>1.6</source>
<target>1.6</target>
<encoding>UTF-8</encoding>
</configuration>
</plugin>
</plugins>
</build>但是需要runas两次才行，不知道为什么。
　　如果只是单纯的跑mapreduce，而没有用到其他jar包，则不需要将其他jar包打到该工程内，也就是说该工程的jar的lib目录下不能有hadoop的jar包，因为在运行时环境里面有，在这里只需要其他的一些比如自己编写的jar包等



版权声明：本文为博主原创文章，未经博主允许不得转载。