濮阳杆衣贸易有限公司

主頁 > 知識庫 > python 實現(xiàn)多進(jìn)程日志輪轉(zhuǎn)ConcurrentLogHandler

python 實現(xiàn)多進(jìn)程日志輪轉(zhuǎn)ConcurrentLogHandler

熱門標(biāo)簽:如何在地圖標(biāo)注文字 長春人工智能電銷機(jī)器人官網(wǎng) n400電話申請多少錢 西藏快速地圖標(biāo)注地點 廈門crm外呼系統(tǒng)如何 地圖標(biāo)注推廣單頁 女王谷地圖標(biāo)注 百應(yīng)ai電銷機(jī)器人鄭州 ai地圖標(biāo)注

記錄日志是我們程序中必不可少的一個功能,但是日志文件如果沒有合理的管理,時間長了幾百兆的日志文件就很難分析了(都不想打開看),但是又不可能經(jīng)常手動去管理它

日志輪轉(zhuǎn):根據(jù)時間或者文件大小控制日志的文件個數(shù),不用我們手動管理

python中l(wèi)ogging模塊內(nèi)置的有幾個支持日志輪轉(zhuǎn)的handler

常用的有TimedRotatingFileHandler根據(jù)時間輪轉(zhuǎn) RotatingFileHandler根據(jù)文件大小輪轉(zhuǎn)

但是內(nèi)置的這些handler是多線程安全的,而不支持多進(jìn)程(可以修改源碼加鎖保證進(jìn)程安全)

多進(jìn)程的時候可以使用ConcurrentLogHandler(需要自行安裝)按照文件大小輪轉(zhuǎn)

pip install ConcurrentLogHandler

一、簡單的日志輪轉(zhuǎn)功能實現(xiàn):

#!/usr/bin/env python
# -*- coding: utf-8 -*- 
import os
import logging
from cloghandler import ConcurrentRotatingFileHandler
from config import LOG_PATH, LOG_FILENAME, LOG_MAX_BYTES
 
 
def create_logger(log_path=os.getcwd(), # 存放日志的目錄
         level=logging.DEBUG,
         formatter=logging.BASIC_FORMAT, # 日志輸出格式
         logger_name="", # 可以使用logging.getlogger(logger_name)使用此logger
         mode='a', 
         delay=0,
         debug=True,
         log_filename=LOG_FILENAME, # 保存日志的文件名(備份出的文件會以此名+.1、 .2命名)
         encoding=None,
         maxBytes=LOG_MAX_BYTES, # 每個日志文件的最大容量
         backupCount=3 # 最多備份幾個日志文件):
  # 判斷存放日志的文件夾是否存在 如果不存在新建
  if not os.path.exists(log_path):
    os.mkdir(log_path)
  # 存放log的文件名
  log_filename = os.path.join(log_path, log_filename)
 
  # 創(chuàng)建一個logger
  logger = logging.getLogger(logger_name)
  # 設(shè)置日志等級
  logger.setLevel(level)
  # 創(chuàng)建一個滾動日志處理器
  crfh = ConcurrentRotatingFileHandler(log_filename, mode=mode, maxBytes=maxBytes, backupCount=backupCount, delay=delay, debug=debug, encoding=encoding)
  # 定義handler的輸出格式
  # 設(shè)定日志輸出格式
  crfh.setFormatter(formatter)
  # 添加日志處理器
  logger.addHandler(crfh)
  # 返回logger對象
  return logger
 
# 日志格式
formatter_log = logging.Formatter('%(asctime)s - %(filename)s [line: %(lineno)d] 【%(levelname)s】 ----- %(message)s')
# 生成一個logger
logger = create_logger(log_path=LOG_PATH, logger_name="mylogger", formatter=formatter_log) 
 

這樣就可以在其他模塊導(dǎo)入logger進(jìn)行使用了

logger.error("error msg") 

有時候我們會記錄一些數(shù)據(jù)到文件中,如果多個程序同時寫入同一文件會把數(shù)據(jù)寫亂 我們也可以使用這個模塊來代替f.write()

from config import CHANNEL_PATH, CHANNEL_FILENAME, LOG_MAX_BYTES
# 只需要把日志的格式改為只存入信息就可以了
formatter_writer = logging.Formatter('%(message)s')
# 創(chuàng)建一個寫入器(logger)
writer = create_logger(logger_name="writer",log_path=CHANNEL_PATH, log_filename=CHANNEL_FILENAME, formatter=formatter_writer, level=logging.INFO)

這樣就可以使用writer.info("msg")記錄數(shù)據(jù)了

二、使用ini配置文件

創(chuàng)建文件xxx.ini

[loggers]
keys = root,public
 
[handlers]
keys = consoleHandler,publicFileHandler
 
[formatters]
keys = my_formatter
 
[logger_root]
level = DEBUG
handlers = consoleHandler
 
[logger_public]
handlers = publicFileHandler
qualname = public
propagate = 0
 
[handler_consoleHandler]
class = StreamHandler
level = DEBUG
formatter = my_formatter
args = (sys.stdout,)
 
[handler_publicFileHandler]
class = cloghandler.ConcurrentRotatingFileHandler
level = INFO
formatter = my_formatter
kwargs = {"filename": "./logs/public.log", "maxBytes": 1024 * 1024 * 10, "backupCount": 10, "delay": True, "debug": True}
 
[formatter_my_formatter]
format = %(asctime)s - %(filename)s [line: %(lineno)d] [%(levelname)s] ----- %(message)s
datefmt = %Y-%m-%d %H:%M:%S
 

創(chuàng)建mylogger.py

import logging
import logging.config 
logging.config.fileConfig("./xxx.ini") 
logger = logging.getLogger("public") 
logger.info("hello world!")

補充:python日志輪轉(zhuǎn)RotatingFileHandler動態(tài)加載導(dǎo)致不能記錄日志問題

linux下:

Traceback (most recent call last): File “/usr/lib64/python2.7/logging/handlers.py”, line 77, in emit self.doRollover() File “/usr/lib64/python2.7/logging/handlers.py”, line 136, in doRollover os.rename(sfn, dfn) OSError: [Errno 13] Permission denied Logged from file utils.py, line 89

windows下:

Traceback (most recent call last): File “F:\Python27\lib\logging\handlers.py”, line 77, in emit self.doRollover() File “F:\Python27\lib\logging\handlers.py”, line 142, in doRollover os.rename(self.baseFilename, dfn) WindowsError: [Error 32] Logged from file utils.py, line 89

這是由于django開發(fā)模式時會同時啟動兩個進(jìn)程加載settings.py,導(dǎo)致日志文件占用后無法重命名或者刪除

都知道django開發(fā)模式下如果有文件變動會自動重新啟動,所以同時又兩個進(jìn)程,一個是程序正常運行的進(jìn)程,另一個是用來監(jiān)聽變更并重啟服務(wù)的進(jìn)程,他們都會加載一遍settings.py,可以在settings.py中加print然后啟動會看到控制臺又兩次輸出。

解決方式:

python C:\Users\pc\Desktop\yunserver-1.1\manage.py runserver --noreload 0.0.0.0:8000

使用不動態(tài)加載方式運行(這樣可能會影響開發(fā)環(huán)境中動態(tài)加載)

以上為個人經(jīng)驗,希望能給大家一個參考,也希望大家多多支持腳本之家。如有錯誤或未考慮完全的地方,望不吝賜教。

您可能感興趣的文章:
  • Python多進(jìn)程的使用詳情
  • Python多線程與多進(jìn)程相關(guān)知識總結(jié)
  • python實現(xiàn)多進(jìn)程并發(fā)控制Semaphore與互斥鎖LOCK
  • python 多進(jìn)程和多線程使用詳解
  • Python 多進(jìn)程原理及實現(xiàn)
  • python多進(jìn)程基礎(chǔ)詳解

標(biāo)簽:渭南 廊坊 亳州 內(nèi)江 拉薩 綿陽 黔東 興安盟

巨人網(wǎng)絡(luò)通訊聲明:本文標(biāo)題《python 實現(xiàn)多進(jìn)程日志輪轉(zhuǎn)ConcurrentLogHandler》,本文關(guān)鍵詞  python,實現(xiàn),多,進(jìn)程,日志,;如發(fā)現(xiàn)本文內(nèi)容存在版權(quán)問題,煩請?zhí)峁┫嚓P(guān)信息告之我們,我們將及時溝通與處理。本站內(nèi)容系統(tǒng)采集于網(wǎng)絡(luò),涉及言論、版權(quán)與本站無關(guān)。
  • 相關(guān)文章
  • 下面列出與本文章《python 實現(xiàn)多進(jìn)程日志輪轉(zhuǎn)ConcurrentLogHandler》相關(guān)的同類信息!
  • 本頁收集關(guān)于python 實現(xiàn)多進(jìn)程日志輪轉(zhuǎn)ConcurrentLogHandler的相關(guān)信息資訊供網(wǎng)民參考!
  • 推薦文章
    望都县| 普定县| 壤塘县| 保定市| 青神县| 台中市| 桃源县| 瑞金市| 辛集市| 全椒县| 北流市| 海淀区| 昭觉县| 玛多县| 高平市| 仙游县| 漠河县| 鹤岗市| 岑溪市| 射阳县| 吐鲁番市| 从江县| 湖南省| 饶阳县| 梅河口市| 昔阳县| 巴楚县| 镇巴县| 绥德县| 金华市| 罗甸县| 冀州市| 阿拉尔市| 延津县| 恩平市| 留坝县| 丹棱县| 当涂县| 清流县| 万年县| 林周县|