openstack 中 log模块分析

13916729435

　　1 . 所在模块，一般在openstack/common/log.py，其实最主要的还是调用了python中的logging模块；

   入口函数在
def setup(product_name, version='unknown'):
    """Setup logging."""
    if CONF.log_config_append:
        _load_log_config(CONF.log_config_append)
    else:
        _setup_logging_from_conf(product_name, version)
    sys.excepthook = _create_logging_excepthook(product_name)

如果配置文件中设置了log_config_append,log_config_append 就是logging的配置，形式如下面这样的：

在函数_load_log_config中实现：
def _load_log_config(log_config_append):
    try:
        logging.config.fileConfig(log_config_append,
                                  disable_existing_loggers=False)
    except moves.configparser.Error as exc:
        raise LogConfigError(log_config_append, str(exc))

LogConfigError是一个自定义的Exception,也在log.py中；

如果没有设置log_config_append，则通过_setup_logging_from_conf函数来进行log的设置；
508     log_root = getLogger(None).logger
509     for handler in log_root.handlers:
510         log_root.removeHandler(handler)
511
512     if CONF.use_syslog:
513         facility = _find_facility_from_conf()
514         # TODO(bogdando) use the format provided by RFCSysLogHandler
515         #   after existing syslog format deprecation in J
516         if CONF.use_syslog_rfc_format:
517             syslog = RFCSysLogHandler(address='/dev/log',
518                                       facility=facility)
519         else:
520             syslog = logging.handlers.SysLogHandler(address='/dev/log',
521                                                     facility=facility)
522         log_root.addHandler(syslog)
523
524     logpath = _get_log_file_path()
525     if logpath:
526         filelog = logging.handlers.WatchedFileHandler(logpath)
527         log_root.addHandler(filelog)
528
529     if CONF.use_stderr:
530         streamlog = ColorHandler()
531         log_root.addHandler(streamlog)
532
533     elif not logpath:
534         # pass sys.stdout as a positional argument
535         # python2.6 calls the argument strm, in 2.7 it's stream
536         streamlog = logging.StreamHandler(sys.stdout)
537         log_root.addHandler(streamlog)
538
539     if CONF.publish_errors:
540         handler = importutils.import_object(
541             "openstack.common.log_handler.PublishErrorsHandler",
542             logging.ERROR)
543         log_root.addHandler(handler)
544
545     datefmt = CONF.log_date_format
546     for handler in log_root.handlers:
547         # NOTE(alaski): CONF.log_format overrides everything currently.  This
548         # should be deprecated in favor of context aware formatting.
549         if CONF.log_format:
550             handler.setFormatter(logging.Formatter(fmt=CONF.log_format,
551                                                    datefmt=datefmt))
552             log_root.info('Deprecated: log_format is now deprecated and will '
553                           'be removed in the next release')
554         else:
555             handler.setFormatter(ContextFormatter(project=project,
556                                                   version=version,
557                                                   datefmt=datefmt))
558
559     if CONF.debug:
560         log_root.setLevel(logging.DEBUG)
561     elif CONF.verbose:
562         log_root.setLevel(logging.INFO)
563     else:
564         log_root.setLevel(logging.WARNING)
565
566     for pair in CONF.default_log_levels:
567         mod, _sep, level_name = pair.partition('=')
568         level = logging.getLevelName(level_name)
569         logger = logging.getLogger(mod)
570         logger.setLevel(level)

508～510 行；首先取得root logger，在logging中，有个默认的rootlogger，任何其他的logger都是这个rootlogger的继承，然后将handler清空，logger可以设置handler，handler是负责将传给logger的信息显示出来的，如显示到stdout，输出到文件等等；

512～522 行，是否写系统的syslog，一般linux 是/dev/log, mac是/var/run/syslog

524到527行，_get_log_file_path函数取得log path，实际上就是判断conf中是否有设置conf.log_file和conf.log_dir;
watchedfilehandler是将log信息输出到文件，watched的具体含义是当发现输出到文件有变化（A file is deemed to have changed if its device or inode have changed），当发现文件有变化的时候，
会将之前的文件流关闭，文件会再一次用一个新的文件流打开；这个在使用log rotation机制的时候是有用的。

529到531行，如果设置了conf.stderr,，通过ColorHandler来进行

533到537行，如果没有设置logpath,  那么stream handler（标准输出）加入到root log里面；

539到543行，如果设置了publish_errors,则调用publisherrorhandler
22 class PublishErrorsHandler(logging.Handler):
23     def emit(self, record):
24         if ('openstack.common.notifier.log_notifier' in
25                 cfg.CONF.notification_driver):
26             return
27         notifier.api.notify(None, 'error.publisher',
28                             'error_notification',
29                             notifier.api.ERROR,
30                             dict(error=record.getMessage()))
publisherrorhandler重写了emit方法，将log信息用notifier发送出去；

545 到557行对log的格式进行设置的部分；

559 到 564 在DEBUG < INFO < WARNING 之间选择一个，作为rootlogger的log level，其他的log如果没有单独设置level，会默认继承rootLogger的level；DEBUG和VERBOSE可以通过配置文件进行配置；

566，570可以通过CONF./default_log_levels分别针对不同的模块进行不同的level级别的设置；

setup函数基本分析完毕，可以如下使用setup函数；
from higgs.agent.common import config
config.setup_logging(cfg.CONF)

但一般在开始的常用方法为
from openstack.common import log as logging
LOG = logging.getLogger(__name__)

这个时候其实时调用openstack/common/log.py中的ContextAdapter类；
ContextAdapter类继承了BaseLoggerAdapter类继承于logging.LoggerAdapter类；LoggerAdapter的作用主要是
可以允许你在打印日志时，对日志做一些统一的处理，加入一些上下文信息(contextual information)，例如在一个网络应用程序里面，你很有可能想在log中包含一些客户端信息
（比如客户端的username，ipaddress等）。
LoggerAdapter的实现方式更像是一个代理或者适配器，实例化一个LoggerAdapter的时候，你需要传递一个Logger实例和一个dict-like object包含你的上下文信息，然后，LoggerAdapter也要info、debug、
error、critical等方法，并且他们的函数签名与Logger本身的签名是一样的，然后在LoggerAdapter所做的事情就类似于下面的片段；

def debug(self, msg, *args, **kwargs):
    """Delegate a debug call to the underlying logger,
    after adding contextual information from this adapter instance."""
    msg, kwargs =self.process(msg, kwargs)
    self.logger.debug(msg, *args, **kwargs)

首先调用process方法对参数进行一定的处理，然后再将处理后的参数传给底层的logger进行调用；
在openstack里面主要是为了在log中加入了一些project、version等信息；

还有一个LazyLogger，延迟加载的logger；