Python實現模塊熱載入

為什麼需要熱載入

在某些情況，你可能不希望關閉Python進程並重新打開，或者你無法重新啟動Python，這時候就需要實現實時修改代碼實時生效，而不用重新啟動Python

在我的需求下，這個功能非常重要，我將Python註入到了其他進程，並作為一個線程運行。如果我想關閉Python，要麼殺死Python相關的線程，要麼重新啟動進程，這都比較麻煩。所以當我修改完代碼後，熱載入代碼是最方便的方法

Python中的導入機制

我們重覆導入一個庫時，第二次導入時並沒有運行庫裡面的代碼，比如先寫一個a.py,在裡面寫一行代碼print("a模塊載入")，然後在寫一個b.py, 裡面寫兩行import a。即使你在多線程中再導入一遍a模塊，也不會列印。例如下麵的代碼：

import a
import threading
print(id(a))

def test():
    import a
    print(id(a))

threading.Thread(target=test).start()

可以看到a的id是一樣的，也就是同一個對象。

為什麼會這樣呢？這和Python的模塊導入機制有關，Python會在sys.modules這個字典里存儲著所有的全局模塊，當你導入一個新模塊時，他會先查找sys.modules里有沒有這個模塊，如果沒有再導入，如果有就在當前代碼增加個引用。舉個最簡單的例子:

a.py

print("a模塊載入")

def aa():
    print("a模塊中的aa方法被載入")

b.py

import sys
a = sys.modules["a"]
a.aa()

c.py

import a
import b

先導入a模塊，這樣sys.modules已經有了a模塊，你就可以使用sys.modules["a"]來使用a模塊，它和import a基本是一樣的。如果你先import b就會發現sys.modules不存在a

重新導入模塊1

既然知道它是先查找sys.modules，那我在導入之前，先刪除掉裡面的a再導入就可以了

import a
import sys
del sys.modules["a"]
import a

這樣就能重新載入模塊

重新導入模塊2

Python基礎庫也提供了一個方法重新載入模塊:

import a
import importlib

importlib.reload(a)

看一下內部代碼是怎麼實現的：

邏輯也比較簡單， 先看sys.modules里有沒有這個模塊，如果有就使用_bootstrap._exec導入模塊。我們是不是也可以通過_bootstrap._exec來重新導入模塊，可以但不建議，因為下劃線開頭的模塊或者函數都是不建議外部使用的，這些介面可能在版本更新後變動比較頻繁

無法熱載入的情況

__main__模塊無法熱載入。當你執行python a.py，這個a.py文件是無法熱載入的，它並沒有作為模塊導入，在sys.modules的名稱就是__main__

如果你在__main__使用from a import A導入的類，即使a模塊重新載入，__main__裡面的A也不會改變

熱載入無法影響已經實例化的對象，比如你修改了模塊裡面的類代碼，但是已經在__main__里實例化了這個類對象，並且一直使用未釋放，它的邏輯在熱載入之後不會受影響。

函數級熱載入

要想實現函數、方法乃至對象級別的熱載入，得修改記憶體中的Python對象。有一個項目實現了這種，有興趣的可以看：https://github.com/breuleux/jurigged

我的需求沒有這麼細，就不測試了

監聽文件變化

我選擇的是watchdog，另一個pyinotify不支持Windows。

watchdog在Windows上有點小bug，修改文件會觸發兩次事件。搜到一個解決方案：不使用預設的事件觸發，而是利用文件快照，每隔一段時間做一次比對。原文鏈接：Python神器watchdog(監控文件變化)，我測試了一下效果很好。

源碼

完整的源碼就不放了，具體可以看：https://github.com/kanadeblisst00/module_hot_loading

國內倉庫：http://www.pygrower.cn:21180/kanadeblisst/module_hot_loading

安裝

pip install module-hot-loading

使用

from threading import Event
from module_hot_loading import monitor_dir


if __name__ == "__main__":
    event = Event()
    event.set()
    path = "."
    monitor_dir(path, event, __file__, interval=2, only_import_exist=False)
    

monitor_dir的參數:

1. 需要監控的目錄路徑
2. 停止監控的事件信號
3. __main__的代碼文件路徑
4. interval: 每隔幾秒打一次文件快照做比對
5. only_import_exist: 只重新載入已經導入的模塊

效果