Hadoop debug 方法

angela

　　做hadoop开发，需要对hdfs，mapreduce组件等进行修改、测试，如果每次做修改后都打成jar包上传到服务器打log测试的话将非常麻烦和耗时的。所以如果能够通过eclipse进行远程调试将会非常方便与惬意的。
　　hadoop远程调试十分简单，只需要自己hack很少的代码就可以完成。步骤如下：
　　首先拷贝$HADOOP_HOME/bin/hadoop   到一个文件如$HADOOP_HOME/bin/hadoop-debug
　　在最后一行修改，原来的bash代码是



else
# run it
exec "$JAVA" -Dproc_$COMMAND $JAVA_HEAP_MAX $HADOOP_OPTS -classpath "$CLASSPATH" $CLASS "$@"
fi
　　修改为



else
# run it
#exec "$JAVA" -Dproc_$COMMAND $JAVA_HEAP_MAX $HADOOP_OPTS -classpath "$CLASSPATH" $CLASS "$@"
exec "$JAVA" -Xdebug -Xrunjdwp:transport=dt_socket,address=7777,server=y,suspend=y $JAVA_HEAP_MAX $HADOOP_OPTS -classpath "$CLASSPATH" $CLASS "$@"
fi

　　address后面是监听的地址，可以改为任意空闲地址。
　　启动十分简单，如想要调试DataNode代码，就启动$HADOOP_HOME/bin/hadoop-debug datanode
　　这时候会提示监听端口信息。



[××××@×××× bin]$ ./hadoop-debug.sh datanode
Warning: $HADOOP_HOME is deprecated.
Listening for transport dt_socket at address: 7777
　　在本地启动eclipse远程调试，如下图：