對於每一個學習 Python 的同學,想必對 @ 符號一定不陌生了,正如你所知, @ 符號是裝飾器的語法糖,@符號後面的函數就是我們本文的主角:裝飾器。 裝飾器放在一個函數開始定義的地方,它就像一頂帽子一樣戴在這個函數的頭上。和這個函數綁定在一起。在我們調用這個函數的時候,第一件事並不是執行這個函數 ...
對於每一個學習 Python 的同學,想必對 @ 符號一定不陌生了,正如你所知, @ 符號是裝飾器的語法糖,@符號後面的函數就是我們本文的主角:裝飾器。
裝飾器放在一個函數開始定義的地方,它就像一頂帽子一樣戴在這個函數的頭上。和這個函數綁定在一起。在我們調用這個函數的時候,第一件事並不是執行這個函數,而是將這個函數做為參數傳入它頭頂上這頂帽子,這頂帽子我們稱之為 裝飾器 。
曾經我在剛轉行做程式員時的一次的面試中,被面試官問過這樣的兩個問題:
1、你都用過裝飾器實現過什麼樣的功能?
2、如何寫一個可以傳參的裝飾器?
對於當時實戰經驗非常有限的我,第一個問題只能回答一些非常簡單的用法,而第二個問題卻沒能回答上來。
當時帶著這兩個問題,我就開始系統的學習裝飾器的所有內容。這些一直整理在自己的博客中,今天對其進行了大量的補充和勘誤,發表在這裡分享給大家。希望對剛入門以及進階的朋友可以提供一些參考。
01. Hello,裝飾器
裝飾器的使用方法很固定
先定義一個裝飾器(帽子)
再定義你的業務函數或者類(人)
最後把這裝飾器(帽子)扣在這個函數(人)頭上
就像下麵這樣子
def decorator(func):
def wrapper(*args, **kw):
return func()
return wrapper
@decorator
def function():
print("hello, decorator")
實際上,裝飾器並不是編碼必須性,意思就是說,你不使用裝飾器完全可以,它的出現,應該是使我們的代碼
更加優雅,代碼結構更加清晰
將實現特定的功能代碼封裝成裝飾器,提高代碼復用率,增強代碼可讀性
接下來,我將以實例講解,如何編寫出各種簡單及複雜的裝飾器。
02. 入門:日誌列印器
首先是日誌列印器。
實現的功能:
在函數執行前,先列印一行日誌告知一下主人,我要執行函數了。
在函數執行完,也不能拍拍屁股就走人了,咱可是有禮貌的代碼,再列印一行日誌告知下主人,我執行完啦。
# 這是裝飾器函數,參數 func 是被裝飾的函數
def logger(func):
def wrapper(*args, **kw):
print('主人,我準備開始執行:{} 函數了:'.format(func.__name__))
# 真正執行的是這行。
func(*args, **kw)
print('主人,我執行完啦。')
return wrapper
假如,我的業務函數是,計算兩個數之和。寫好後,直接給它帶上帽子。
@logger
def add(x, y):
print('{} + {} = {}'.format(x, y, x+y))
然後執行一下 add 函數。
add(200, 50)
來看看輸出了什麼?
主人,我準備開始執行:add 函數了:
200 + 50 = 250
主人,我執行完啦。
03. 入門:時間計時器
再來看看 時間計時器
實現功能:顧名思義,就是計算一個函數的執行時長。
# 這是裝飾函數
def timer(func):
def wrapper(*args, **kw):
t1=time.time()
# 這是函數真正執行的地方
func(*args, **kw)
t2=time.time()
# 計算下時長
cost_time = t2-t1
print("花費時間:{}秒".format(cost_time))
return wrapper
假如,我們的函數是要睡眠10秒。這樣也能更好的看出這個計算時長到底靠不靠譜。
import time
@timer
def want_sleep(sleep_time):
time.sleep(sleep_time)
want_sleep(10)
來看看輸出,如預期一樣,輸出10秒。
花費時間:10.0073800086975098秒
04. 進階:帶參數的函數裝飾器
通過上面兩個簡單的入門示例,你應該能體會到裝飾器的工作原理了。
不過,裝飾器的用法還遠不止如此,深究下去,還大有文章。今天就一起來把這個知識點學透。
回過頭去看看上面的例子,裝飾器是不能接收參數的。其用法,只能適用於一些簡單的場景。不傳參的裝飾器,只能對被裝飾函數,執行固定邏輯。
裝飾器本身是一個函數,做為一個函數,如果不能傳參,那這個函數的功能就會很受限,只能執行固定的邏輯。這意味著,如果裝飾器的邏輯代碼的執行需要根據不同場景進行調整,若不能傳參的話,我們就要寫兩個裝飾器,這顯然是不合理的。
比如我們要實現一個可以定時發送郵件的任務(一分鐘發送一封),定時進行時間同步的任務(一天同步一次),就可以自己實現一個 periodic_task (定時任務)的裝飾器,這個裝飾器可以接收一個時間間隔的參數,間隔多長時間執行一次任務。
可以這樣像下麵這樣寫,由於這個功能代碼比較複雜,不利於學習,這裡就不貼了。
@periodic_task(spacing=60)
def send_mail():
pass
@periodic_task(spacing=86400)
def ntp()
pass
那我們來自己創造一個偽場景,可以在裝飾器里傳入一個參數,指明國籍,併在函數執行前,用自己國家的母語打一個招呼。
# 小明,中國人
@say_hello("china")
def xiaoming():
pass
# jack,美國人
@say_hello("america")
def jack():
pass
那我們如果實現這個裝飾器,讓其可以實現 傳參 呢?
會比較複雜,需要兩層嵌套。
def say_hello(contry):
def wrapper(func):
def deco(*args, **kwargs):
if contry == "china":
print("你好!")
elif contry == "america":
print('hello.')
else:
return
# 真正執行函數的地方
func(*args, **kwargs)
return deco
return wrapper
來執行一下
xiaoming()
print("------------")
jack()
看看輸出結果。
你好!
------------
hello.
05. 高階:不帶參數的類裝飾器
以上都是基於函數實現的裝飾器,在閱讀別人代碼時,還可以時常發現還有基於類實現的裝飾器。
基於類裝飾器的實現,必須實現 __ call__ 和 __init__兩個內置函數。
init :接收被裝飾函數
call :實現裝飾邏輯。
還是以日誌列印這個簡單的例子為例
class logger(object):
def __init__(self, func):
self.func = func
def __call__(self, *args, **kwargs):
print("[INFO]: the function {func}() is running..."
.format(func=self.func.__name__))
return self.func(*args, **kwargs)
@logger
def say(something):
print("say {}!".format(something))
say("hello")
執行一下,看看輸出
[INFO]: the function say() is running...
say hello!
06. 高階:帶參數的類裝飾器
上面不帶參數的例子,你發現沒有,只能列印INFO級別的日誌,正常情況下,我們還需要列印DEBUG WARNING等級別的日誌。這就需要給類裝飾器傳入參數,給這個函數指定級別了。
帶參數和不帶參數的類裝飾器有很大的不同。
__ init __ :不再接收被裝飾函數,而是接收傳入參數。
__ call __ :接收被裝飾函數,實現裝飾邏輯。
class logger(object):
def __init__(self, level='INFO'):
self.level = level
def __call__(self, func): # 接受函數
def wrapper(*args, **kwargs):
print("[{level}]: the function {func}() is running..."
.format(level=self.level, func=func.__name__))
func(*args, **kwargs)
return wrapper #返回函數
@logger(level='WARNING')
def say(something):
print("say {}!".format(something))
say("hello")
我們指定WARNING級別,運行一下,來看看輸出。
[WARNING]: the function say() is running...
say hello!
07. 使用偏函數與類實現裝飾器
絕大多數裝飾器都是基於函數和閉包實現的,但這並非製造裝飾器的唯一方式。
事實上,Python 對某個對象是否能通過裝飾器( @decorator)形式使用只有一個要求:decorator 必須是一個“可被調用(callable)的對象。
對於這個 callable 對象,我們最熟悉的就是函數了。
除函數之外,類也可以是 callable 對象,只要實現了__ call__ 函數(上面幾個例子已經接觸過了)。
還有容易被人忽略的偏函數其實也是 callable 對象。
接下來就來說說,如何使用 類和偏函數結合實現一個與眾不同的裝飾器。
如下所示,DelayFunc 是一個實現了 __ call__ 的類,delay 返回一個偏函數,在這裡 delay 就可以做為一個裝飾器。(以下代碼摘自 Python工匠:使用裝飾器的小技巧)
import time
import functools
class DelayFunc:
def __init__(self, duration, func):
self.duration = duration
self.func = func
def __call__(self, *args, **kwargs):
print(f'Wait for {self.duration} seconds...')
time.sleep(self.duration)
return self.func(*args, **kwargs)
def eager_call(self, *args, **kwargs):
print('Call without delay')
return self.func(*args, **kwargs)
def delay(duration):
"""
裝飾器:推遲某個函數的執行。
同時提供 .eager_call 方法立即執行
"""
# Python學習交流QQ群:857662006
# 此處為了避免定義額外函數,
# 直接使用 functools.partial 幫助構造 DelayFunc 實例
return functools.partial(DelayFunc, duration)
我們的業務函數很簡單,就是相加
@delay(duration=2)
def add(a, b):
return a+b
來看一下執行過程
>>> add # 可見 add 變成了 Delay 的實例
<__main__.DelayFunc object at 0x107bd0be0>
>>>
>>> add(3,5) # 直接調用實例,進入 __call__
Wait for 2 seconds...
8
>>>
>>> add.func # 實現實例方法
<function add at 0x107bef1e0>
08. 如何寫能裝飾類的裝飾器?
用 Python 寫單例模式的時候,常用的有三種寫法。其中一種,是用裝飾器來實現的。
以下便是我自己寫的裝飾器版的單例寫法。
instances = {}
def singleton(cls):
def get_instance(*args, **kw):
cls_name = cls.__name__
print('===== 1 ====')
if not cls_name in instances:
print('===== 2 ====')
instance = cls(*args, **kw)
instances[cls_name] = instance
return instances[cls_name]
return get_instance
@singleton
class User:
_instance = None
def __init__(self, name):
print('===== 3 ====')
self.name = name
可以看到我們用singleton 這個裝飾函數來裝飾 User 這個類。裝飾器用在類上,並不是很常見,但只要熟悉裝飾器的實現過程,就不難以實現對類的裝飾。在上面這個例子中,裝飾器就只是實現對類實例的生成的控制而已。
其實例化的過程,你可以參考我這裡的調試過程,加以理解。
09. wraps 裝飾器有啥用?
在 functools 標準庫中有提供一個 wraps 裝飾器,你應該也經常見過,那他有啥用呢?
先來看一個例子
def wrapper(func):
def inner_function():
pass
return inner_function
@wrapper
def wrapped():
pass
print(wrapped.__name__)
#inner_function
為什麼會這樣子?不是應該返回 func 嗎?
這也不難理解,因為上邊執行func 和下邊 decorator(func) 是等價的,所以上面 func.__ name__ 是等價於下麵decorator(func).__ name__ 的,那當然名字是 inner_function
def wrapper(func):
def inner_function():
pass
return inner_function
def wrapped():
pass
print(wrapper(wrapped).__name__)
#inner_function
那如何避免這種情況的產生?方法是使用 functools .wraps 裝飾器,它的作用就是將 被修飾的函數(wrapped) 的一些屬性值賦值給 修飾器函數(wrapper) ,最終讓屬性的顯示更符合我們的直覺。
from functools import wraps
def wrapper(func):
@wraps(func)
def inner_function():
pass
return inner_function
@wrapper
def wrapped():
pass
print(wrapped.__name__)
# wrapped
準確點說,wraps 其實是一個偏函數對象(partial),源碼如下
def wraps(wrapped,
assigned = WRAPPER_ASSIGNMENTS,
updated = WRAPPER_UPDATES):
return partial(update_wrapper, wrapped=wrapped,
assigned=assigned, updated=updated)
可以看到wraps其實就是調用了一個函數update_wrapper,知道原理後,我們改寫上面的代碼,在不使用 wraps的情況下,也可以讓 wrapped.__ name__ 列印出 wrapped,代碼如下:
from functools import update_wrapper
WRAPPER_ASSIGNMENTS = ('__module__', '__name__', '__qualname__', '__doc__',
'__annotations__')
def wrapper(func):
def inner_function():
pass
update_wrapper(inner_function, func, assigned=WRAPPER_ASSIGNMENTS)
return inner_function
@wrapper
def wrapped():
pass
print(wrapped.__name__)
10. 內置裝飾器:property
以上,我們介紹的都是自定義的裝飾器。
其實Python語言本身也有一些裝飾器。比如property這個內建裝飾器,我們再熟悉不過了。
它通常存在於類中,可以將一個函數定義成一個屬性,屬性的值就是該函數return的內容。
通常我們給實例綁定屬性是這樣的
class Student(object):
def __init__(self, name, age=None):
self.name = name
self.age = age
# 實例化
xiaoming = Student("小明")
# 添加屬性
xiaoming.age=25
# 查詢屬性
xiaoming.age
# 刪除屬性
del xiaoming.age
但是稍有經驗的開發人員,一下就可以看出,這樣直接把屬性暴露出去,雖然寫起來很簡單,但是並不能對屬性的值做合法性限制。為了實現這個功能,我們可以這樣寫。
class Student(object):
def __init__(self, name):
self.name = name
self.name = None
def set_age(self, age):
if not isinstance(age, int):
raise ValueError('輸入不合法:年齡必須為數值!')
if not 0 < age < 100:
raise ValueError('輸入不合法:年齡範圍必須0-100')
self._age=age
def get_age(self):
return self._age
def del_age(self):
self._age = None
xiaoming = Student("小明")
# 添加屬性
xiaoming.set_age(25)
# 查詢屬性
xiaoming.get_age()
# 刪除屬性
xiaoming.del_age()
上面的代碼設計雖然可以變數的定義,但是可以發現不管是獲取還是賦值(通過函數)都和我們平時見到的不一樣。
按照我們思維習慣應該是這樣的。
# 賦值
xiaoming.age = 25
# 獲取
xiaoming.age
那麼這樣的方式我們如何實現呢。請看下麵的代碼。
class Student(object):
def __init__(self, name):
self.name = name
self.name = None
@property
def age(self):
return self._age
@age.setter
def age(self, value):
if not isinstance(value, int):
raise ValueError('輸入不合法:年齡必須為數值!')
if not 0 < value < 100:
raise ValueError('輸入不合法:年齡範圍必須0-100')
self._age=value
@age.deleter
def age(self):
del self._age
xiaoming = Student("小明")
# 設置屬性
xiaoming.age = 25
# 查詢屬性
xiaoming.age
# 刪除屬性
del xiaoming.age
用@property裝飾過的函數,會將一個函數定義成一個屬性,屬性的值就是該函數return的內容。同時,會將這個函數變成另外一個裝飾器。就像後面我們使用的@age.setter和@age.deleter。
- @age.setter 使得我們可以使用XiaoMing.age = 25這樣的方式直接賦值。
- @age.deleter 使得我們可以使用del XiaoMing.age這樣的方式來刪除屬性。
property 的底層實現機制是「描述符」,為此我還寫過一篇文章。
這裡也介紹一下吧,正好將這些看似零散的文章全部串起來。
如下,我寫了一個類,裡面使用了 property 將 math 變成了類實例的屬性
class Student:
def __init__(self, name):
self.name = name
@property
def math(self):
return self._math
@math.setter
def math(self, value):
if 0 <= value <= 100:
self._math = value
else:
raise ValueError("Valid value must be in [0, 100]")
為什麼說 property 底層是基於描述符協議的呢?通過 PyCharm 點擊進入 property 的源碼,很可惜,只是一份類似文檔一樣的偽源碼,並沒有其具體的實現邏輯。
不過,從這份偽源碼的魔法函數結構組成,可以大體知道其實現邏輯。
這裡我自己通過模仿其函數結構,結合「描述符協議」來自己實現類 property 特性。
代碼如下:
class TestProperty(object):
def __init__(self, fget=None, fset=None, fdel=None, doc=None):
self.fget = fget
self.fset = fset
self.fdel = fdel
self.__doc__ = doc
def __get__(self, obj, objtype=None):
print("in __get__")
if obj is None:
return self
if self.fget is None:
raise AttributeError
return self.fget(obj)
def __set__(self, obj, value):
print("in __set__")
if self.fset is None:
raise AttributeError
self.fset(obj, value)
def __delete__(self, obj):
print("in __delete__")
if self.fdel is None:
raise AttributeError
self.fdel(obj)
def getter(self, fget):
print("in getter")
return type(self)(fget, self.fset, self.fdel, self.__doc__)
def setter(self, fset):
print("in setter")
return type(self)(self.fget, fset, self.fdel, self.__doc__)
def deleter(self, fdel):
print("in deleter")
return type(self)(self.fget, self.fset, fdel, self.__doc__)
然後 Student 類,我們也相應改成如下
class Student:
def __init__(self, name):
self.name = name
# 其實只有這裡改變
@TestProperty
def math(self):
return self._math
@math.setter
def math(self, value):
if 0 <= value <= 100:
self._math = value
else:
raise ValueError("Valid value must be in [0, 100]")
為了儘量讓你少產生一點疑惑,我這裡做兩點說明:
使用TestProperty裝飾後,math 不再是一個函數,而是TestProperty類的一個實例。所以第二個math函數可以使用 math.setter 來裝飾,本質是調用TestProperty.setter 來產生一個新的 TestProperty 實例賦值給第二個math。
第一個 math 和第二個 math 是兩個不同 TestProperty 實例。但他們都屬於同一個描述符類(TestProperty),當對 math 對於賦值時,就會進入 TestProperty.__ set__,當對math 進行取值里,就會進入 TestProperty. get。仔細一看,其實最終訪問的還是Student實例的 _math 屬性。
說了這麼多,還是運行一下,更加直觀一點。
# 運行後,會直接列印這一行,這是在實例化 TestProperty 並賦值給第二個math
in setter
>>>
>>> s1.math = 90
in __set__
>>> s1.math
in __get__
90
如對上面代碼的運行原理,有疑問的同學,請務必結合上面兩點說明加以理解,那兩點相當關鍵。
11. 其他裝飾器:裝飾器實戰
讀完並理解了上面的內容,你可以說是Python高手了。別懷疑,自信點,因為很多人都不知道裝飾器有這麼多用法呢。
在我看來,使用裝飾器,可以達到如下目的:
使代碼可讀性更高,逼格更高;
代碼結構更加清晰,代碼冗餘度更低;
剛好我在最近也有一個場景,可以用裝飾器很好的實現,暫且放上來看看。
這是一個實現控制函數運行超時的裝飾器。如果超時,則會拋出超時異常。
有興趣的可以看看。
import signal
class TimeoutException(Exception):
def __init__(self, error='Timeout waiting for response from Cloud'):
Exception.__init__(self, error)
def timeout_limit(timeout_time):
def wraps(func):
def handler(signum, frame):
raise TimeoutException()
def deco(*args, **kwargs):
signal.signal(signal.SIGALRM, handler)
signal.alarm(timeout_time)
func(*args, **kwargs)
signal.alarm(0)
return deco
return wraps
以上,便是我對裝飾器的所有分享。