hadoop daemonlog实现

luyj

在debug hadoop的问题的时候，经常需要临时打开hadoop的debug日志，可以通过更改环境变量：

1	export HADOOP_ROOT_LOGGER=DEBUG,console

来开启debug log,这几天在看hadoop shell的时候发现有daemonlog这个参数，可以临时获取或更改当前日志基本，是通过org.apache.hadoop.log.LogLevel的main方法来实现的，比如操作datanode的日志级别：

1 2	hadoop daemonlog  -getlevel 127.0.0.1:50070 datanode hadoop daemonlog  -setlevel 127.0.0.1:50070 datanode DEBUG //level的设置必须是大写的

来看下org.apache.hadoop.log.LogLevel的具体实现：
main方法在开始会解析输入的参数，并生成一个url，调用process方法：

1 2 3 4 5 6 7 8 9 10 11 12 13

public static void main(String[] args) {     if (args. length == 3 && "-getlevel".equals(args[0])) {       process("http://" + args[1] + "/logLevel?log=" + args[2]);       return;     }     else if (args.length == 4 && "-setlevel".equals(args[0])) {       process("http://" + args[1] + "/logLevel?log=" + args[2]               + "&level=" + args[3]); //由process实现       return;     }     System.err.println( USAGES);     System.exit(-1);   }

调用process方法，建立到url的连接，并获取读取数据：

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17

private static void process(String urlstring) {     try {       URL url = new URL(urlstring);       System.out.println("Connecting to " + url);       URLConnection connection = url.openConnection();       connection.connect();       BufferedReader in = new BufferedReader(new InputStreamReader(           connection.getInputStream()));       for(String line; (line = in.readLine()) != null; )         if (line.startsWith(MARKER)) {           System.out.println(TAG.matcher(line).replaceAll(""));         }       in.close();     } catch (IOException ioe) {       System.err.println("" + ioe);     }   }

LogLevel其内部实现了一个扩展了HttpServlet 的Servlet,并重写了一个doGet方法来处理GET请求，如果是/logLevel?log=xxxx的url是获取日志级别，/logLevel?log=xxx&level=xxxx是设置日志级别：
Servlet类：

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36

public static class Servlet extends HttpServlet {     private static final long serialVersionUID = 1L;     public void doGet(HttpServletRequest request, HttpServletResponse response         ) throws ServletException, IOException { //doGet方法用来处理请求       // Do the authorization       if (!HttpServer.hasAdministratorAccess(getServletContext (), request,           response)) {         return;       }       PrintWriter out = ServletUtil.initHTML(response, "Log Level"); //初始化响应的html头内容       String logName = ServletUtil.getParameter(request, "log"); //从请求中获取log的设置       String level = ServletUtil.getParameter(request, "level"); //从请求中获取level的设置       if (logName != null) {         out.println( "<br /><hr /><h3>Results</h3>" );         out.println( MARKER             + "Submitted Log Name: <b>" + logName + "</b><br />");         Log log = LogFactory.getLog(logName); //根据日志名获取Log对象  org.apache.commons.logging.LogFactory  org.apache.commons.logging.Log（Log是一个接口）            out.println( MARKER             + "Log Class: <b>" + log.getClass().getName() +"</b><br />" );         if (level != null) {           out.println( MARKER + "Submitted Level: <b>" + level + "</b><br />");         }         if (log instanceof Log4JLogger) { //对不同的log类调用对用的process方法           process(((Log4JLogger)log).getLogger(), level, out);         }         else if (log instanceof Jdk14Logger ) {           process(((Jdk14Logger)log).getLogger(), level, out);         }         else {           out.println( "Sorry, " + log.getClass() + " not supported.<br />" );         }       }       out.println( FORMS);       out.println(ServletUtil.HTML_TAIL);     }

再来看对应的process方法：

1 2 3 4 5 6 7 8 9 10 11 12 13

private static void process(org.apache.log4j.Logger log, String level,         PrintWriter out) throws IOException { //以常用的log4j为例       if (level != null) { //如果请求中含有level=xxx         if (!level.equals(org.apache.log4j.Level.toLevel(level).toString())) {           out.println( MARKER + "Bad level : <b>" + level + "</b><br />");         } else {           log.setLevel( org.apache.log4j.Level.toLevel(level)); //并且level为正确的值的话，直接调用对应Log实现类的setlevel设置log的级别           out.println( MARKER + "Setting Level to " + level + " ...<br />");         }       }       out.println( MARKER           + "Effective level: <b>" + log.getEffectiveLevel() + "</b><br />" );     }