hadoop2.2.0 源码远程调试

banbanbai

　　http://blog.sina.com.cn/s/blog_5ccc692d0101pikf.html
　　学习hadoop2.2.0，远程调试hadoop源码
　　note: 只在linux上面调试，windows下面会有脚本执行的问题，可能需要安装cygwin可以解决.
1 把编译好的hadoop源代码导入eclipse
  
2 如果要调试hdfs，修改~/hadoop-2.2.0/bin/hdfs
  elif [ "$COMMAND" = "dfs" ] ; then
  CLASS=org.apache.hadoop.fs.FsShell
  HADOOP_OPTS="$HADOOP_OPTS -Xdebug -Xrunjdwp:transport=dt_socket,address=6666,server=y,suspend=y"
  HADOOP_OPTS="$HADOOP_OPTS $HADOOP_CLIENT_OPTS"
 
  监听设置在这个位置，suspend=y，就是说操作dfs命令时候会挂起在6666端口，进程会暂停，直到有客户端来连接这个端口，比如eclipse远程调试。
  
 
3 eclipse打开远程调试
  




4 要调试其他功能，根据脚本来设置监听即可
5 如果调试自己写的mapreduce（伪分布式，mapreduce采用local方式，保证使用单个jvm情况下，否则会有静听端口冲突），修改~/hadoop-2.2.0/bin/hadoop
   #exec "$JAVA" $JAVA_HEAP_MAX $HADOOP_OPTS $CLASS "$@"
   exec "$JAVA" -Xdebug -Xrunjdwp:transport=dt_socket,address=54321,server=y,suspend=n $HADOOP_OPTS -classpath "$CLASSPATH" $CLASS "$@"
   修改~/hadoop-2.2.0/etc/hadoop/mapred-site.xml为local模式
   
　　执行hadoop jar ***.jar classname param...
即可进入远程debug模式。