spark调整日志显示级别

skypaladin

摘要
　　在学习使用Spark的过程中，总是想对内部运行过程作深入的了解，其中DEBUG和TRACE级别的日志可以为我们提供详细和有用的信息，那么如何进行合理设置呢，不复杂但也绝不是将一个INFO换为TRACE那么简单。
主要问题
　　调整Spark日志级别的配置文件是$SPARK_HOME/conf/log4j.properties，默认级别是INFO，如果曾经将其改为DEBUG的朋友可能会有这样的经历，有用的信息还没看完，就被大量的心跳检测日志给淹没了。
解决办法
　　只将需要的日志级别调整为TRACE，而将心跳检测类的设置为INFO级别以上，避免干扰。
log4j.properties示范

　　Set everything to be logged to the console log4j.rootCategory=INFO, console log4j.appender.console=org.apache.log4j.ConsoleAppender log4j.appender.console.target=System.err log4j.appender.console.layout=org.apache.log4j.PatternLayout log4j.appender.console.layout.ConversionPattern=%d{yy/MM/dd HH:mm:ss} %p %c{1}: %m%n # Settings to quiet third party logs that are too verbose log4j.logger.org.eclipse.jetty=WARN log4j.logger.org.eclipse.jetty.util.component.AbstractLifeCycle=ERROR log4j.logger.org.apache.spark.repl.SparkIMain$exprTyper=INFO log4j.logger.org.apache.spark.repl.SparkILoop$SparkILoopInterpreter=INFO log4j.logger.org.apache.spark.sql.SQLContext=TRACE log4j.logger.org.apache.spark.sql.catalyst.analysis.Analyzer=TRACE log4j.logger.org.apache.spark=TRACE log4j.logger.org.apache.spark.storage.BlockManagerMasterActor=WARN log4j.logger.org.apache.spark.HeartbeatReceiver=WARN log4j.logger.org.apache.spark.scheduler.local.LocalActor=WARN

　　引自：http://www.cnblogs.com/hseagle/p/4423398.html
　　


文／gk4030（简书作者）
原文链接：http://www.jianshu.com/p/cf144083dc70
著作权归作者所有，转载请联系作者获得授权，并标注“简书作者”。