logging模塊 這個模塊是目前最重要的模塊!!!我一定給講透徹一點 很多程式都有記錄日誌的需求,並且日誌中包含的信息即有正常的程式訪問日誌,還可能有錯誤、警告等信息輸出,python中的logging模塊提供了標準的日誌介面,你可以通過它存儲各種級別的日誌,Logging的日誌可以分為以下5個級 ...
logging模塊
這個模塊是目前最重要的模塊!!!我一定給講透徹一點
很多程式都有記錄日誌的需求,並且日誌中包含的信息即有正常的程式訪問日誌,還可能有錯誤、警告等信息輸出,python中的logging模塊提供了標準的日誌介面,你可以通過它存儲各種級別的日誌,Logging的日誌可以分為以下5個級別:
- debug():調試模式,出問題了需要調試,方便調試
- info():普通的記錄,沒錯誤,例如:某某登陸了訪問了哪個界面
- warning():沒有發生錯誤,但是有可能有潛在的問題
- error():出問題了
- critical():很嚴重的那種
註意:windows電腦中的字元編碼時GBK,所以在日誌文件中,如果出現亂碼,請修改編碼為GBK
最簡單用法,將日誌信息輸出到屏幕(終端)
import logging
# 將下麵3條日誌信息輸出到屏幕(不是我說的輸出到屏幕,是預設輸出到屏幕)
logging.debug('this is debug info')
logging.error('this is error info')
logging.critical('this is critical info')
# 運行結果如下
ERROR:root:this is error info
CRITICAL:root:this is critical info
# 問題1.想想root代表的是什麼?
root代表這個程式預設是以root用戶執行的
# 問題2.為什麼我輸出3條日誌消息,卻輸出到屏幕兩條?
答案在下麵,請繼續看
那麼?就光光只能把日誌信息輸出到屏幕嗎,我想輸出到文件里哎,怎麼辦呢?不要著急,我告訴你怎麼辦:
import logging # 導入logging這個模塊
logging.basicConfig( # logging.basicConfig表示給這個日誌文件加一個配置,以後往文件里輸就可以了
filename = 'logging練習.log', # 要往這個文件裡面輸入日誌
level = logging.DEBUG, # 設置級別,大於等於DEBUG級別的才會輸出到文件中
format = '%(asctime)s %(message)s', # 日誌的格式
datefmt = '%m/%d/%Y %I:%M:%S %p' # 時間的格式
) # 整體表示打開這個文件
logging.debug('this is debug info')
logging.error('this is error info')
logging.critical('this is critical info')
那麼此時就會在當面路徑下產生一個"logging練習.log"的文件,文件中赫赫的寫著以下內容:
05/15/2018 10:23:27 PM this is debug info # 由asctime和message組成
05/15/2018 10:23:27 PM this is error info
05/15/2018 10:23:27 PM this is critical info
那麼那麼,如果這個程式我再運行一下會怎麼樣呢?實話告訴你吧,只會去追加而不會覆蓋,哪有日誌剛寫入就被覆蓋的呢?
此時,你的同事提出了一個需求:日誌的級別我想用數字來代替,天天沒事就給我輸出個error,就和我開玩笑樣,我不想看見它,就用數字來代替吧(error級別代表已經出問題了,這上級也不想去修伺服器),你給我實現它,然後你就找到了我,我就告訴你是怎麼實現的:
import logging
logging.basicConfig(
filename = 'logging練習.log',
level = logging.DEBUG,
format = '%(asctime)s %(levelno)s %(message)s', # 此時你的輸出格式改成了這個樣子,讓我們看看效果吧
datefmt = '%m/%d/%Y %I:%M:%S %p'
)
# 同樣還是輸入3條日誌信息
logging.debug('this is debug info')
logging.error('this is error info')
logging.critical('this is critical info')
那麼在"logging練習.log"文件中表現是這個樣子的:
05/15/2018 10:34:04 PM 10 this is debug info
05/15/2018 10:34:04 PM 40 this is error info
05/15/2018 10:34:04 PM 50 this is critical info
好了,你的上級放心了,error不會再輸出了,你的同事安心的去吃雞了.
終於get到了,原來%(levelno)s
代表的是數字顯示形式的顯示日誌級別
......過了一個月......
突然有一天早上你去上班,發現開發炸開了鍋,打聽了才瞭解,他們的伺服器宕機了,而且查日誌竟然沒問題,這時候你的同事偷偷的跑過來說:飛哥,快去給日誌的格式換回來,我老老實實的去修伺服器就好了吧,可是一個月之前的東西了怎麼能記住呢?然後你上百度找到了這個說法:%(levelname)s
表示文本形式的顯示日誌級別,你迫不及待的給%(levelno)s
刪了,代碼是這樣的:
import logging
logging.basicConfig(
filename = 'logging練習.log',
level = logging.DEBUG,
format = '%(asctime)s %(levelname)s %(message)s', # 修改了格式
datefmt = '%m/%d/%Y %I:%M:%S %p'
)
# 輸出3條日誌消息到文件中
logging.debug('this is debug info')
logging.error('this is error info')
logging.critical('this is critical info')
此時你的日誌文件已經恢復過來了,輸出到文件是這個樣子的:
05/15/2018 10:43:43 PM DEBUG this is debug info
05/15/2018 10:43:43 PM ERROR this is error info
05/15/2018 10:43:43 PM CRITICAL this is critical info
你的同事這種行為終究被查了出來,你的同事不幸的被辭掉,而你也扣了一年的獎金,過了兩天,認識又幫你招了一個運維,運維剛來的什麼都不懂,看了看日誌文件說:飛哥呀,我新來的,還不知道這個日誌文件(logging練習.log)是哪個程式運行的呀,你能告訴我嗎?你說,沒問題,刷刷刷寫了幾行代碼:
import logging
logging.basicConfig(
filename = 'logging練習.log',
level = logging.DEBUG,
format = '%(asctime)s %(pathname)s %(message)s', # 修改稱為%(pathname)s
datefmt = '%m/%d/%Y %I:%M:%S %p'
)
# 輸出3條日誌消息到文件中
logging.debug('this is debug info')
logging.error('this is error info')
logging.critical('this is critical info')
此時輸出到文件中的日誌長這個樣子:
05/15/2018 10:50:05 PM D:/py_study/day14-subprocess模塊開始/logging練習.py this is debug info
05/15/2018 10:50:05 PM D:/py_study/day14-subprocess模塊開始/logging練習.py this is error info
05/15/2018 10:50:05 PM D:/py_study/day14-subprocess模塊開始/logging練習.py this is critical info
你的同事說:原來是這個程式在運行不斷的輸出日誌到文件中啊,這個%(pathname)s
好神奇呀,列印出來調用日誌輸出函數的模塊的完整路徑名,膜拜膜拜.
在你仰慕你飛哥的時候,突然想到一個問題,有沒有情況可能不會輸出路徑名的呢?飛哥裝逼的清了清嗓子,當然有,如果在交互器下就沒有,你迫不及待的嘗試下果然就沒有:
05/15/2018 10:55:38 PM logging練習.py this is debug info
05/15/2018 10:55:38 PM logging練習.py this is error info
05/15/2018 10:55:38 PM logging練習.py this is critical info
然後,你的同事不經意的問了一下:那能不能不列印路徑,只列印文件名呢?你啪唧的一下懵逼了,但還是很裝逼的說,有!(此時的內心活動是:雖然我不知道,但是不裝逼我很難受,晚上不睡覺我也給你找到)
結果經過一夜的奮戰,第二天到了公司,立馬給你同事叫過來,來來來,我和你說怎麼寫,你拿出了熬了一夜寫出的代碼:
import logging
logging.basicConfig(
filename = 'logging練習.log',
level = logging.DEBUG,
format = '%(asctime)s %(module)s %(message)s', # 這裡改了%(module)s
datefmt = '%m/%d/%Y %I:%M:%S %p'
)
# 輸出3條日誌消息到文件中
logging.debug('this is debug info')
logging.error('this is error info')
logging.critical('this is critical info')
列印到文件中是這個樣子的:
05/15/2018 11:02:21 PM logging練習 this is debug info
05/15/2018 11:02:21 PM logging練習 this is error info
05/15/2018 11:02:21 PM logging練習 this is critical info
你那可愛的同事,看了半天代碼沒發生任何改變,你仙人一指,那xxx行的%(pathname)s不是改成了%(module)s了嘛?同事恍然大悟,原來%(module)s
就是調用日誌輸出函數的模塊名呀.
同事昨晚睡的並不好,迷迷糊糊的在這個代碼中添加了一個函數,代表:每次輸出日誌到文件中的時候都要和他打招呼,但是他寫了之後不知道怎麼把函數里的問候列印出來,也運行了呀也運行了怎麼不行呢,然後就跑過去問你了,以下是他寫的函數代碼:
def sayhi():
print('hello,西楚霸王') # 問候
sayhi() # 執行
此時你剛好泡了一杯茶在你的辦公桌上,看到你的同事跑了過來,問他怎麼了,他就和你說了,你笑了笑,說,小case,看我幫你解決:
import logging
logging.basicConfig(
filename = 'logging練習.log',
level = logging.DEBUG,
format = '%(asctime)s %(funcName)s %(message)s', # 修改成了%(funcName)s
datefmt = '%m/%d/%Y %I:%M:%S %p'
)
def sayhi():
logging.error('hello,西楚霸王')
sayhi()
# 輸出3條日誌消息到文件中
logging.debug('this is debug info')
logging.error('this is error info')
logging.critical('this is critical info')
此時輸出到日誌文件中是這樣的
05/15/2018 11:13:04 PM sayhi hello,西楚霸王 # 函數名 + 日誌輸出的東西
05/15/2018 11:13:04 PM <module> this is debug info
05/15/2018 11:13:04 PM <module> this is error info
05/15/2018 11:13:04 PM <module> this is critical info
於是,你就改口喊你的同事稱西楚霸王了,但是是如何修改的呢?那就是%(funcName)s
,它代表的意思就是調用日誌輸出的函數的函數名
此時你發現,logging.error('hello,西楚霸王')這個是error,表示出問題了,輸出的3條日誌消息也是debug,error,critical,但就不知道問題出在哪一行,回去翻了翻python-book,找到了答案:
import logging
logging.basicConfig(
filename = 'logging練習.log',
level = logging.DEBUG,
format = '%(asctime)s %(funcName)s - %(lineno)d %(message)s', # 添加了%(lineno)d
datefmt = '%m/%d/%Y %I:%M:%S %p'
)
def sayhi():
logging.error('hello,西楚霸王')
sayhi()
# 輸出3條日誌消息到文件中
logging.debug('this is debug info')
logging.error('this is error info')
logging.critical('this is critical info')
輸出到日誌文件中是這樣的:
05/15/2018 11:20:39 PM sayhi - 16 hello,西楚霸王
05/15/2018 11:20:39 PM <module> - 21 this is debug info
05/15/2018 11:20:39 PM <module> - 22 this is error info
05/15/2018 11:20:39 PM <module> - 23 this is critical info
哪行出錯了,就給所在的哪行列印出來,你的領導看見了你如此刻苦給你發了個20塊的紅包,並告訴你:給我買包煙去~~~
哈哈笑死我了
原來%(lineno)d
就是表示調用日誌輸出函數的語句所在的代碼行
下一個:%(process)d
表示進程ID,示範代碼如下:
import logging
logging.basicConfig(
filename = 'logging練習.log',
level = logging.DEBUG,
format = '%(asctime)s %(lineno)d %(message)s - - %(process)d',
datefmt = '%m/%d/%Y %I:%M:%S %p'
)
def sayhi():
logging.error('hello,西楚霸王')
sayhi()
# 輸出3條日誌消息到文件中
logging.debug('this is debug info')
logging.error('this is error info')
logging.critical('this is critical info')
輸出到日誌文件中是這樣的,其中2404代表的是進程ID
05/15/2018 11:27:09 PM 16 hello,西楚霸王 - - 2404
05/15/2018 11:27:09 PM 21 this is debug info - - 2404
05/15/2018 11:27:09 PM 22 this is error info - - 2404
05/15/2018 11:27:09 PM 23 this is critical info - - 2404
好了,實在編不下去了,大致說下下麵幾個不常用的:
- %(created)f,代表當前時間,用UNIX標準的表示時間的浮點數表示
- %(relativeCreated)d,代表輸出日誌信息時,自logger創建以來的毫秒數
- %(thread)d,線程ID,可能沒有
- %(threadName)s,線程名,可能沒有
- %(message)s,用戶輸入的消息
以上都是logging模塊的基礎部分,請認真學習!
logging模塊高級部分
此時提出一個需求:讓日誌文件同時輸出到文件和屏幕中,怎麼辦?
如果想達到這個效果,那麼簡單的輸出日誌就實現不了了,就需要瞭解一些複雜的知識了。
python使用logging模塊記錄日誌涉及四個主要類,使用官方文檔中的概括最為合適:
- logger,記錄器,提供了應用程式可以直接使用的介面;
- handler,處理器,將(logger創建的)日誌記錄發送到合適的目的輸出;
- filter,過濾器,提供了過濾來決定輸出哪條日誌記錄
- formatter,格式化器,決定日誌記錄的最終輸出格式
logger組件
每個程式在輸出信息之前,都要獲得一個logger。logger通常對應了程式的模塊名,比如聊天工具的圖形界面模塊可以這樣獲得它的logger:
logger = logging.getLogger('chat.gui')
而核心模塊可以這樣:
logger = logging.getLogger('chat.kernel')
簡單的說就是給這個logger起一個名字。
還可以綁定handler和filter
logger.setLevel(level):指定最低的日誌級別,低於level的級別都會被忽略。DEBUG是最低,CRITICAL是最高。
logger.addFilter(filter),logger.removeFilter(filter):增加或刪除指定的filter。
logger.addHandler(hdlr),logger.removeHandler(hdlr):增加或刪除指定的handler。
handler組件
handler對象負責發送相關的信息到指定目的地,python日誌系統有多種handler可以使用,有些handler可以把信息輸出到控制台,有些handler可以把信息輸出到文件, 還有些handler可以把信息發送到網路上。如果覺得不夠用,還可以編寫自己的handler,可以通過addHandler()
方法添加多個handler。
handler.setLevel(level):指定被處理的信息級別,低於level級別的信息將被忽略。
handler.setFormatter():給handler設置一個格式。
handler.addFilter(filter),handler.remove(filter):新增或刪除一個filter對象。
每個logger都可以附加多個handler。接下來介紹下常用的handler:
- logging.StreamHandler:使用這個handler可以向類似與sys.stdout或者sys.stderr的任何文件對象輸出信息
- logging.FileHandler:和StreamHandler類似,用於向一個文件輸出日誌信息,不過FileHandler會幫你打開這個文件
formatter組件
日誌的formatter是個獨立的組件,可以跟Handler組合
fh = logging.FileHandler('access.log')
formatter = logging.formatter('%(asctime)s-%(name)s-%(levelname)s-%(message)s')
fh.setFormatter(fotmatter) # 把formatter綁定到fh上
filter組件
如果你想對日誌文件進行過濾,就可以自定義一個filter
class filter_test(logging.Filter):
''' 忽略帶有db backup的日誌'''
def filter(self,record):
return "db backup" not in record.getMessage()
註意filter函數會返回True和False,logger根據此值決定是否輸出日誌
然後把這個filter添加到logger中
logger.addFilter(filter_test())
那麼下麵的日誌就會把符合filter條件的過濾掉
logger.debug("test ....")
logger.info("test info ....")
logger.warning("start to run db backup job ....")
logger.error("test error ....")
現在開始寫一個同時輸出到屏幕和文件的例子,按照國際慣例一步一步來,先打好框架
import logging # 導入logging模塊
# 1.創建logger
# 2.創建handler
# 3.創建formatter
第一步,創建logger對象
# 1.創建logger
logger = logging.getLogger('web') # 創建一個叫web的logger
# 1.1設置全局輸出日誌的等級
logger.setLevel(logging.DEBUG) # 允許DEBUG及以上級別的日誌輸出
第二步,創建handler對象
# 2.創建handler
# 2.1屏幕handler
screen = logging.StreamHandler()
# 2.2文件handler
file = logging.FileHandler('web.log') # 日誌都輸出到web.log中
第三步,創建formatter對象
# 3.創建formatter
# 3.1創建輸出到屏幕的格式
screen_formatter = logging.Formatter('%(asctime)s -- %(lineno)s -- %(message)s')
# 3.2創建輸出到文件的格式
file_formatter = logging.Formatter('%(asctime)s -- %(name)s -- %(levelname)s -- %(message)s')
第四步,開始輸出
# 這個為要輸出的日誌
logger.debug('this is DEBUG ingo')
logger.info('this is INFO ingo')
logger.warning('this is WARNING ingo')
logger.error('this is error ingo')
運行以下試試看
此時屏幕中輸出為:
this is WARNING ingo
this is error ingo
文件中輸出為:空
此時我們發現,我們想要的結果和列印出來的結果不是一樣的,這是啥原因?那麼我們就可以想到是因為沒有格式,剛剛我們說formatter是可以和handler結合的,但是怎麼結合呢?
# 4.綁定handler
screen.setFormatter(screen_formatter)
file.setFormatter(file_formatter)
那麼我們綁定之後,再運行下看看列印什麼,我可以準確的和你說,和剛剛的結果是一樣的
此時屏幕中輸出為:
this is WARNING ingo
this is error ingo
文件中輸出為:空
為什麼?
看看上面講幾個組件的作用,formatter對象主要用於輸出日誌的格式,handler對象負責發送相關的信息到指定目的地,理論上沒有錯誤,有了格式formatter,有了發送信息的handler,那麼我問你,在最前面我們創建logger對象的作用是什麼?每個程式在輸出信息之前,都要獲得一個logger。那麼這是那種操作呢?
# 5.綁定logger
logger.addHandler(screen)
logger.addHandler(file)
運行結果
# 屏幕上
2018-05-16 14:20:58,848 -- 41 -- this is DEBUG ingo
2018-05-16 14:20:58,849 -- 42 -- this is INFO ingo
2018-05-16 14:20:58,849 -- 43 -- this is WARNING ingo
2018-05-16 14:20:58,849 -- 44 -- this is error ingo
# 文件中
2018-05-16 14:20:58,848 -- web -- DEBUG -- this is DEBUG ingo
2018-05-16 14:20:58,849 -- web -- INFO -- this is INFO ingo
2018-05-16 14:20:58,849 -- web -- WARNING -- this is WARNING ingo
2018-05-16 14:20:58,849 -- web -- ERROR -- this is error ingo
這個完整代碼是這樣的:
import logging # 導入logging模塊
# 1.創建logger
logger = logging.getLogger('web') # 創建一個叫web的logger
# 1.1設置全局輸出日誌的等級
logger.setLevel(logging.DEBUG) # 允許DEBUG及以上級別的日誌輸出
# 2.創建handler
# 2.1屏幕handler
screen = logging.StreamHandler()
# 2.2文件handler
file = logging.FileHandler('web.log') # 日誌都輸出到web.log中
# 2.3設置輸出到屏幕和文件的等級
# screen.setLevel(logging.INFO)
# file.setLevel(logging.WARNING)
# 3.創建formatter
# 3.1創建輸出到屏幕的格式
screen_formatter = logging.Formatter('%(asctime)s -- %(lineno)s -- %(message)s')
# 3.2創建輸出到文件的格式
file_formatter = logging.Formatter('%(asctime)s -- %(name)s -- %(levelname)s -- %(message)s')
# 4.綁定handler
screen.setFormatter(screen_formatter)
file.setFormatter(file_formatter)
# 5.綁定logger
logger.addHandler(screen)
logger.addHandler(file)
logger.debug('this is DEBUG ingo')
logger.info('this is INFO ingo')
logger.warning('this is WARNING ingo')
logger.error('this is error ingo')
現在還有一個filter組件沒有說,為什麼呢,因為平時用的是很少,那我們也看看吧
# 定義一個類,類名可以隨便,寫法固定
class filter_test(logging.Filter):
'''用來過濾 this is 的日誌'''
def filter(self, record):
return "this is" not in record.getMessage() # record.getMessage()獲取日誌輸出的信息
和logger對象綁定
# 6.綁定filter
logger.addFilter(filter_test())
運行結果是:
輸出到文件:空
輸出到屏幕:空
因為我們把它給過濾掉了,換成這個試一下:
logger.debug('thisis DEBUG ingo')
logger.info('thisis INFO ingo')
logger.warning('thisis WARNING ingo')
logger.error('thisis error ingo')
運行結果為:
2018-05-16 14:44:29,335 -- 47 -- thisis DEBUG ingo
2018-05-16 14:44:29,336 -- 48 -- thisis INFO ingo
2018-05-16 14:44:29,336 -- 49 -- thisis WARNING ingo
2018-05-16 14:44:29,336 -- 50 -- thisis error ingo
文件中:
2018-05-16 14:44:29,335 -- web -- DEBUG -- thisis DEBUG ingo
2018-05-16 14:44:29,336 -- web -- INFO -- thisis INFO ingo
2018-05-16 14:44:29,336 -- web -- WARNING -- thisis WARNING ingo
2018-05-16 14:44:29,336 -- web -- ERROR -- thisis error ingo
大功告成!
日誌的分割
- 按照文件大小的切割
- 按照時間間隔的切割
按照文件大小的切割logging.handlers.RotatingFileHandler
這個handler類似於FileHandler,但是它可以管理文件大小。當文件達到一定大小之後,它會自動將當前日誌文件改名,然後創建一個新的同名日誌文件繼續輸出。比如日誌的文件是web.log,那麼當web.log到達指定大小後,RotatingFileHandler
會自動把文件名改為web.log.1,如果web.log.1存在,那麼就會創建web.log.2......最後創建web.log,所以web.log文件是最新的日誌,它的函數是:
RotatingFileHandler( filename[, mode[, maxBytes[, backupCount]]])
其中filename和mode兩個參數和FileHandler一樣
- msxBytes用於指定日誌文件的最大文件大小。如果maxBytes為0,意味著日誌文件可以無限大,這時上面描述的重命名過程就不會發生
- backupCount用於指定保留的文件的備份的個數,如果指定的是2,當上面的重命名過程發生時,web.log.2就不會改名,而是被直接刪除
代碼演示:
import logging # 導入logging模塊
from logging import handlers
# 1.創建logger
logger = logging.getLogger('web') # 創建一個叫web的logger
# 1.1設置全局輸出日誌的等級
logger.setLevel(logging.DEBUG) # 允許DEBUG及以上級別的日誌輸出
# 2.按照文件大小去切割
log_file = '按照文件大小切割.log'
file = handlers.RotatingFileHandler(filename=log_file,maxBytes=100,backupCount=3) # 最大位元組為100,備份文件為3份
# 3.創建formatter
# 3.1創建輸出到文件的格式
file_formatter = logging.Formatter('%(asctime)s -- %(name)s -- %(levelname)s -- %(message)s')
# 4.綁定handler
file.setFormatter(file_formatter)
# 5.綁定logger對象
logger.addHandler(file)
logger.debug('this is DEBUG ingo')
logger.info('this is INFO ingo')
logger.warning('this is WARNING ingo')
logger.error('this is error ingo')
在這裡就不列印文件效果了,有興趣的可以直接複製過去看看
按照時間間隔的切割logging.handlers.TimedRotatingFileHandler
這個hanlder和RotatingFileHandler類似,不過,它沒有判斷文件大小來決定何時重新創建日誌文件,而是間隔一定時間就自動創建新的日誌文件。重命名的過程與RotatingFileHandler類似,不過新的文件不是附加數字,而是當前時間,它的函數是:
TimedRotatingFileHandler( filename [,when [,interval [,backupCount]]])
其中,filename參數和backupCount參數和RotatingFileHandler具有相同的意義
interval表示時間間隔
when參數代表的是一個字元串,表示時間建個單位,不區分大小寫
- S:秒
- M:分
- H:小時
- D:天
- W:每星期(interval==0代表星期一)
- midnight:每天凌晨
# 代碼並無多大改動
import logging # 導入logging模塊
from logging import handlers
# 1.創建logger
logger = logging.getLogger('web') # 創建一個叫web的logger
# 1.1設置全局輸出日誌的等級
logger.setLevel(logging.DEBUG) # 允許DEBUG及以上級別的日誌輸出
# 2.按照文件大小去切割
log_file = '按照文件大小切割.log'
file = handlers.TimedRotatingFileHandler(filename=log_file,when='S',interval=5,backupCount=3)
# 3.創建formatter
# 3.1創建輸出到文件的格式
file_formatter = logging.Formatter('%(asctime)s -- %(name)s -- %(levelname)s -- %(message)s')
# 4.綁定handler
file.setFormatter(file_formatter)
# 5.綁定logger對象
logger.addHandler(file)
logger.debug('this is DEBUG ingo')
logger.info('this is INFO ingo')
logger.warning('this is WARNING ingo')
logger.error('this is error ingo')