Python logging模块的使用
1、logging模块介绍
logging模块是Python内置的标准模块,主要用于输出运行日志,可以设置输出日志的等级、日志保存路径、日志文件回滚等。
2、logging模块的优点
1、可以通过设置不同的日志等级,在release版本中只输出重要信息,而不必显示大量的调试信息。
2、logging可以由开发者决定将信息输出的地方,以及输出格式。
3、logging模块使用
### 输出日志到控制台 ### import logging logging.basicConfig(level=logging.DEBUG,format='%(asctime)s-%(name)s-%(levelname)s-%(message)s') logger = logging.getLogger(__name__) logger.info('我的第一个程序') 运行结果: 2019-02-18 17:34:21,996-__main__-INFO-我的第一个程序
logging中可以选择很多消息级别,如debug、info、warning、error以及critical。通过赋予logger或者handler不同的级别,开发者就可以只输出错误信息到特定的记录文件,或者在调试时只记录调试信息。
配置参数说明:logging.basicConfig函数各参数
filename:指定日志文件名
filemode:和file函数意义相同,指定日志文件的打开模式,'w'或者'a'
format:指定输出的格式和内容,format可以输出很多有用的信息
%(levelno)s: 打印日志级别的数值
%(levelname)s: 打印日志级别的名称
%(pathname)s: 打印当前执行程序的路径,其实就是sys.argv[0] %(filename)s:打印当前执行程序名
%(funcName)s: 打印日志的当前函数
%(lineno)d: 打印日志的当前行号
%(asctime)s: 打印日志的时间
%(thread)d: 打印线程ID
%(threadName)s: 打印线程名称
%(process)d: 打印进程ID
%(message)s: 打印日志信息
datefmt:指定时间格式,同time.strftime()
level: 设置日志级别,默认为logging.WARNNING
stream: 指定将日志的输出流,可以指定输出到sys.stderr,sys.stdout或者文件,默认输出到sys.stderr,当stream和filename同时指定时,stream被忽略
### 将日志写入到文件 ### import logging logger = logging.getLogger(__name__) # 日志级别 logger.setLevel(level=logging.DEBUG) # 设置日志文件的级别 handler = logging.FileHandler('log.txt','w') handler.setLevel(logging.DEBUG) # 日志格式 formatter = logging.Formatter('%(asctime)s-%(name)s-%(levelname)s-%(message)s') handler.setFormatter(formatter) logger.addHandler(handler) logger.info('我的第二个程序') 运行结果: log.txt中日志数据为:2019-02-18 17:34:21,996-__main__-INFO-我的第二个程序
### 将日志写入到文件 ### import logging logger = logging.getLogger(__name__) # 日志级别 logger.setLevel(level=logging.DEBUG) # 设置日志文件的级别 handler = logging.FileHandler('log.txt','w') handler.setLevel(logging.DEBUG) # 日志格式 formatter = logging.Formatter('%(asctime)s-%(name)s-%(levelname)s-%(message)s') handler.setFormatter(formatter) logger.addHandler(handler) console = logging.StreamHandler() console.setLevel(logging.INFO) logger.addHandler(console) logger.info('我的第二个程序') logger.debug('我的第三个程序') 运行结果 控制台:2019-02-18 17:34:21,996-__main__-INFO-我的第二个程序 Log.txt中日志数据为: 2019-02-18 17:34:21,996-__main__-INFO-我的第二个程序 2019-02-18 17:34:21,996-__main__-DEBUG-我的第三个程序
logging有一个日志处理的主对象,其他处理方式都是通过addHandler添加进去,logging中包含的handler主要有如下几种
handler名称 | 位置 | 作用 |
StreamHandler | logging.StreamHandler | 日志输出到流,可以是sys.stderr,sys.stdout或者文件 |
FileHandler | logging.FileHandler | 日志输出到文件 |
BaseRotatingHandler | logging.handlers.BaseRotatingHandler | 基本的日志回滚方式 |
RotatingHandler | logging.handlers.RotatingHandler | 日志回滚方式,支持日志文件最大数量和日志文件回滚 |
TimeRotatingHandler | logging.handlers.TimeRotatingHandler | 日志回滚方式,在一定时间区域内回滚日志文件 |
SocketHandler | logging.handlers.SocketHandler | 远程输出日志到TCP/IP sockets |
DatagramHandler | logging.handlers.DatagramHandler | 远程输出日志到UDP sockets |
SMTPHandler | logging.handlers.SMTPHandler | 远程输出日志到邮件地址 |
SysLogHandler | logging.handlers.SysLogHandler | 日志输出到syslog |
NTEventLogHandler | logging.handlers.NTEventLogHandler | 远程输出日志到Windows NT/2000/XP的事件日志 |
MemoryHandler | logging.handlers.MemoryHandler | 日志输出到内存中的指定buffer |
HTTPHandler | logging.handlers.HTTPHandler | 通过"GET"或者"POST"远程输出到HTTP服务器 |
4、设置消息的等级
FATAL | 致命错误 |
CRITICAL | 特别糟糕的事情,如内存耗尽、磁盘空间为空,一般很少使用 |
ERROR | 发生错误时,如IO操作失败或者连接问题 |
WARNING | 发生很重要的事件,但是并不是错误时,如用户登录密码错误 |
INFO | 处理请求或者状态变化等日常事务 |
DEBUG | 调试过程中使用DEBUG等级,如算法中每个循环的中间状态 |
5、捕获traceback:
Python中的traceback模块被用于跟踪异常返回信息,可以在logging中记录下traceback
### 将日志写入到文件 ### import logging logger = logging.getLogger(__name__) # 日志级别 logger.setLevel(level=logging.DEBUG) # 设置日志文件的级别 handler = logging.FileHandler('log.txt','w') handler.setLevel(logging.DEBUG) # 日志格式 formatter = logging.Formatter('%(asctime)s-%(name)s-%(levelname)s-%(message)s') handler.setFormatter(formatter) logger.addHandler(handler) try: f=open('sklearn.txt',’rb’) f.readlines() except Exception as e: # 也可以使用logger.exception(msg,_args),它等价于logger.error(msg,exc_info = True,_args) logger.error(e,exc_info=True) # logger.exception(e) logger.info('Finish') 运行结果: Faild to open sklearn.txt from logger.error Traceback (most recent call last): File "G:\zhb7627\Code\Eclipse WorkSpace\PythonTest\test.py", line 23, in <module> open("sklearn.txt","rb") IOError: [Errno 2] No such file or directory: 'sklearn.txt' Finish
6、JSON文件配置
{ "version":1, "disable_existing_loggers":false, "formatters":{ "simple":{ "format":"%(asctime)s - %(name)s - %(levelname)s - %(message)s" } }, "handlers":{ "console":{ "class":"logging.StreamHandler", "level":"DEBUG", "formatter":"simple", "stream":"ext://sys.stdout" }, "info_file_handler":{ "class":"logging.handlers.RotatingFileHandler", "level":"INFO", "formatter":"simple", "filename":"info.log", "maxBytes":"10485760", "backupCount":20, "encoding":"utf8" }, "error_file_handler":{ "class":"logging.handlers.RotatingFileHandler", "level":"ERROR", "formatter":"simple", "filename":"errors.log", "maxBytes":10485760, "backupCount":20, "encoding":"utf8" } }, "loggers":{ "my_module":{ "level":"ERROR", "handlers":["info_file_handler"], "propagate":"no" } }, "root":{ "level":"INFO", "handlers":["console","info_file_handler","error_file_handler"] } }
通过JSON加载配置文件,然后通过logging.dictConfig配置logging
import json import logging.config import os def setup_logging(default_path = "logging.json",default_level = logging.INFO,env_key = "LOG_CFG"): path = default_path value = os.getenv(env_key,None) if value: path = value if os.path.exists(path): with open(path,"r") as f: config = json.load(f) logging.config.dictConfig(config) else: logging.basicConfig(level = default_level) def func(): logging.info("start func") logging.info("exec func") logging.info("end func") if __name__ == "__main__": setup_logging(default_path = "logging.json") func()