深度辨析 Python 的 eval() 與 exec()

来源:https://www.cnblogs.com/pythonista/archive/2019/03/24/10590682.html
-Advertisement-
Play Games

Python 提供了很多內置的工具函數（Built-in Functions），在最新的 Python 3 官方文檔中，它列出了 69 個。 大部分函數是我們經常使用的，例如 print()、open() 與 dir()，而有一些函數雖然不常用，但它們在某些場景下，卻能發揮出不一般的作用。內置函數們 ...


 

Python 提供了很多內置的工具函數（Built-in Functions），在最新的 Python 3 官方文檔中，它列出了 69 個。

大部分函數是我們經常使用的，例如 print()、open() 與 dir()，而有一些函數雖然不常用，但它們在某些場景下，卻能發揮出不一般的作用。內置函數們能夠被“提拔”出來，這就意味著它們皆有獨到之處，有用武之地。

因此，掌握內置函數的用法，就成了我們應該點亮的技能。

在《Python進階：如何將字元串常量轉為變數？》這篇文章中，我提到過 eval() 和 exec() ，但對它們並不太瞭解。為了彌補這方面知識，我就重新學習了下。這篇文章是一份超級詳細的學習記錄，系統、全面而深入地辨析了這兩大函數。

1、eval 的基本用法

語法：eval(expression, globals=None, locals=None)

它有三個參數，其中 expression 是一個字元串類型的表達式或代碼對象，用於做運算；globals 與 locals 是可選參數，預設值是 None。

具體而言，expression 只能是單個表達式，不支持複雜的代碼邏輯，例如賦值操作、迴圈語句等等。（PS：單個表達式並不意味著“簡單無害”，參見下文第 4 節）

globals 用於指定運行時的全局命名空間，類型是字典，預設時使用的是當前模塊的內置命名空間。locals 指定運行時的局部命名空間，類型是字典，預設時使用 globals 的值。兩者都預設時，則遵循 eval 函數執行時的作用域。值得註意的是，這兩者不代表真正的命名空間，只在運算時起作用，運算後則銷毀。

x = 10

def func():
    y = 20
    a = eval('x + y')
    print('a: ', a)
    b = eval('x + y', {'x': 1, 'y': 2})
    print('x: ' + str(x) + ' y: ' + str(y))
    print('b: ', b)
    c = eval('x + y', {'x': 1, 'y': 2}, {'y': 3, 'z': 4})
    print('x: ' + str(x) + ' y: ' + str(y))
    print('c: ', c)

func()

輸出結果：

a:  30
x: 10 y: 20
b:  3
x: 10 y: 20
c:  4

由此可見，當指定了命名空間的時候，變數會在對應命名空間中查找。而且，它們的值不會覆蓋實際命名空間中的值。

2、exec 的基本用法

語法：exec(object[, globals[, locals]])

在 Python2 中 exec 是個語句，而 Python3 將其改造成一個函數，就像 print 一樣。exec() 與 eval() 高度相似，三個參數的意義和作用相近。

主要的區別是，exec() 的第一個參數不是表達式，而是代碼塊，這意味著兩點：一是它不能做表達式求值並返回出去，二是它可以執行複雜的代碼邏輯，相對而言功能更加強大，例如，當代碼塊中賦值了新的變數時，該變數可能 在函數外的命名空間中存活下來。

>>> x = 1
>>> y = exec('x = 1 + 1')
>>> print(x)
>>> print(y)
2
None

可以看出，exec() 內外的命名空間是相通的，變數由此傳遞出去，而不像 eval() 函數，需要一個變數來接收函數的執行結果。

3、一些細節辨析

兩個函數都很強大，它們將字元串內容當做有效的代碼執行。這是一種字元串驅動的事件 ，意義重大。然而，在實際使用過程中，存在很多微小的細節，此處就列出我所知道的幾點吧。

常見用途：將字元串轉成相應的對象，例如 string 轉成 list ，string 轉成 dict，string 轉 tuple 等等。

>>> a = "[[1,2], [3,4], [5,6], [7,8], [9,0]]"
>>> print(eval(a))
[[1, 2], [3, 4], [5, 6], [7, 8], [9, 0]]
>>> a = "{'name': 'Python貓', 'age': 18}"
>>> print(eval(a))
{'name': 'Python貓', 'age': 18}

# 與 eval 略有不同
>>> a = "my_dict = {'name': 'Python貓', 'age': 18}"
>>> exec(a)
>>> print(my_dict)
{'name': 'Python貓', 'age': 18}

eval() 函數的返回值是其 expression 的執行結果，在某些情況下，它會是 None，例如當該表達式是 print() 語句，或者是列表的 append() 操作時，這類操作的結果是 None，因此 eval() 的返回值也會是 None。

>>> result = eval('[].append(2)')
>>> print(result)
None

exec() 函數的返回值只會是 None，與執行語句的結果無關，所以，將 exec() 函數賦值出去，就沒有任何必要。所執行的語句中，如果包含 return 或 yield ，它們產生的值也無法在 exec 函數的外部起作用。

>>> result = exec('1 + 1')
>>> print(result)
None

兩個函數中的 globals 和 locals 參數，起到的是白名單的作用，通過限定命名空間的範圍，防止作用域內的數據被濫用。

conpile() 函數編譯後的 code 對象，可作為 eval 和 exec 的第一個參數。compile() 也是個神奇的函數，我翻譯的上一篇文章《Python騷操作：動態定義函數》就演示了一個動態定義函數的操作。

弔詭的局部命名空間：前面講到了 exec() 函數內的變數是可以改變原有命名空間的，然而也有例外。

def foo():
    exec('y = 1 + 1\nprint(y)')
    print(locals())
    print(y)

foo()

按照前面的理解，預期的結果是局部變數中會存入變數 y，因此兩次的列印結果都會是 2，然而實際上的結果卻是：

2
{'y': 2}
Traceback (most recent call last):
...(略去部分報錯信息)
    print(y)
NameError: name 'y' is not defined

明明看到了局部命名空間中有變數 y，為何會報錯說它未定義呢？

原因與 Python 的編譯器有關，對於以上代碼，編譯器會先將 foo 函數解析成一個 ast（抽象語法樹），然後將所有變數節點存入棧中，此時 exec() 的參數只是一個字元串，整個就是常量，並沒有作為代碼執行，因此 y 還不存在。直到解析第二個 print() 時，此時第一次出現變數 y ，但因為沒有完整的定義，所以 y 不會被存入局部命名空間。

在運行期，exec() 函數動態地創建了局部變數 y ，然而由於 Python 的實現機制是“運行期的局部命名空間不可改變 ”，也就是說這時的 y 始終無法成為局部命名空間的一員，當執行 print() 時也就報錯了。

至於為什麼 locals() 取出的結果有 y，為什麼它不能代表真正的局部命名空間？為什麼局部命名空間無法被動態修改？可以查看我之前分享的《Python 動態賦值的陷阱》，另外，官方的 bug 網站中也有對此問題的討論，查看地址：https://bugs.python.org/issue4831

若想把 exec() 執行後的 y 取出來的話，可以這樣：z = locals()['y'] ，然而如果不小心寫成了下麵的代碼，則會報錯：

def foo():
    exec('y = 1 + 1')
    y = locals()['y']
    print(y)

foo()

#報錯：KeyError: 'y'
#把變數 y 改為其它變數則不會報錯

KeyError 指的是在字典中不存在對應的 key 。本例中 y 作了聲明，卻因為迴圈引用而無法完成賦值，即 key 值對應的 value 是個無效值，因此讀取不到，就報錯了。

此例還有 4 個變種，我想用一套自恰的說法來解釋它們，但嘗試了很久，未果。留個後話吧，等我想明白，再單獨寫一篇文章。

4、為什麼要慎用 eval() ？

很多動態的編程語言中都會有 eval() 函數，作用大同小異，但是，無一例外，人們會告訴你說，避免使用它。

為什麼要慎用 eval() 呢？主要出於安全考慮，對於不可信的數據源，eval 函數很可能會招來代碼註入的問題。

>>> eval("__import__('os').system('whoami')")
desktop-fa4b888\pythoncat
>>> eval("__import__('subprocess').getoutput('ls ~')")
#結果略，內容是當前路徑的文件信息

在以上例子中，我的隱私數據就被暴露了。而更可怕的是，如果將命令改為rm -rf ~ ，那當前目錄的所有文件都會被刪除乾凈。

針對以上例子，有一個限制的辦法，即指定 globals 為 {'__builtins__': None} 或者 {'__builtins__': {}} 。

>>> s = {'__builtins__': None}
>>> eval("__import__('os').system('whoami')", s)
#報錯：TypeError: 'NoneType' object is not subscriptable

__builtins__ 包含了內置命名空間中的名稱，在控制臺中輸入 dir(__builtins__) ，就能發現很多內置函數、異常和其它屬性的名稱。在預設情況下，eval 函數的 globals 參數會隱式地攜帶__builtins__ ，即使是令 globals 參數為 {} 也如此，所以如果想要禁用它，就得顯式地指定它的值。

上例將它映射成 None，就意味著限定了 eval 可用的內置命名空間為 None，從而限制了表達式調用內置模塊或屬性的能力。

但是，這個辦法還不是萬無一失的，因為仍有手段可以發起攻擊。

某位漏洞挖掘高手在他的博客中分享了一個思路，令人大開眼界。其核心的代碼是下麵這句，你可以試試執行，看看輸出的是什麼內容。

>>> ().__class__.__bases__[0].__subclasses__()

關於這句代碼的解釋，以及更進一步的利用手段，詳見博客。（地址：https://www.tuicool.com/articles/jeaqe2n）

另外還有一篇博客，不僅提到了上例的手段，還提供了一種新的思路：

#警告：千萬不要執行如下代碼，後果自負。
>>> eval('(lambda fc=(lambda n: [c 1="c" 2="in" 3="().__class__.__bases__[0" language="for"][/c].__subclasses__() if c.__name__ == n][0]):fc("function")(fc("code")(0,0,0,0,"KABOOM",(),(),(),"","",0,""),{})())()', {"__builtins__":None})

這行代碼會導致 Python 直接 crash 掉。具體分析在：https://segmentfault.com/a/1190000011532358

除了黑客的手段，簡單的內容也能發起攻擊。像下例這樣的寫法， 將在短時間內耗盡伺服器的計算資源。

>>> eval("2 ** 888888888", {"__builtins__":None}, {})

如上所述，我們直觀地展示了 eval() 函數的危害性，然而，即使是 Python 高手們小心謹慎地使用，也不能保證不出錯。

在官方的 dumbdbm 模塊中，曾經（2014年）發現一個安全漏洞，攻擊者通過偽造資料庫文件，可以在調用 eval() 時發起攻擊。（詳情：https://bugs.python.org/issue22885）

無獨有偶，在上個月（2019.02），有核心開發者針對 Python 3.8 也提出了一個安全問題，提議不在 logging.config 中使用 eval() 函數，目前該問題還是 open 狀態。（詳情：https://bugs.python.org/issue36022）

如此種種，足以說明為什麼要慎用 eval() 了。同理可證，exec() 函數也得謹慎使用。

5、安全的替代用法

既然有種種安全隱患，為什麼要創造出這兩個內置方法呢？為什麼要使用它們呢？

理由很簡單，因為 Python 是一門靈活的動態語言。與靜態語言不同，動態語言支持動態地產生代碼，對於已經部署好的工程，也可以只做很小的局部修改，就實現 bug 修複。

那有什麼辦法可以相對安全地使用它們呢？

ast 模塊的 literal() 是 eval() 的安全替代，與 eval() 不做檢查就執行的方式不同，ast.literal() 會先檢查表達式內容是否有效合法。它所允許的字面內容如下：

strings, bytes, numbers, tuples, lists, dicts, sets, booleans, 和 None

一旦內容非法，則會報錯：

import ast
ast.literal_eval("__import__('os').system('whoami')")

報錯：ValueError: malformed node or string

不過，它也有缺點：AST 編譯器的棧深（stack depth）有限，解析的字元串內容太多或太複雜時，可能導致程式崩潰。

至於 exec() ，似乎還沒有類似的替代方法，畢竟它本身可支持的內容是更加複雜多樣的。

最後是一個建議：搞清楚它們的區別與運行細節（例如前面的局部命名空間內容），謹慎使用，限制可用的命名空間，對數據源作充分校驗。

關聯閱讀：

Python 動態賦值的陷阱

Python騷操作：動態定義函數

Python與家國天下

Python進階：如何將字元串常量轉為變數？

https://docs.python.org/3/library/ast.html#ast.literal_eval

公眾號【Python貓】， 專註Python技術、數據科學和深度學習，力圖創造一個有趣又有用的學習分享平臺。本號連載優質的系列文章，有喵星哲學貓系列、Python進階系列、好書推薦系列、優質英文推薦與翻譯等等，歡迎關註哦。PS：後臺回覆“愛學習”，免費獲得一份學習大禮包。


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • JAVA基礎-輸入輸出流
    一，File類：文件的創建和刪除 1.File(String pathname)：pathname是指路徑名稱。用法 File file = new File("d:/1.txt "); 2.File(String parent, String child)：parent是父路徑字元串，child是 ...
  • 公司網站被黑應該怎麼處理？
    許多公司網站被黑被進犯，首要牽扯到的便是網站的開發言語，包含了代碼言語，以及資料庫言語，現在大多數網站都是運用的PHP，JAVA，.net言語開發，資料庫運用的是mysql，oracle等資料庫，那麼網站被進犯了該怎樣辦？運營一個網站，總被進犯是時有發生的，特別一些公司網站，以及個人建站，都是沒有專 ...
  • F#周報2019年第12期
    新聞 "Amazon.Lambda.RuntimeSupport發佈" "Forge 3.0架構" "Blazor 0.9.0試驗版發佈" "通過微軟游戲棧實現更多應用" "介紹ASP.NET Core中的gRPC" "Mac上的Visual Studio 2019 8.0版本預覽4" "FlexS ...
  • Flask 系列之 HelloWorld
    說明 操作系統：Windows 10 Python 版本：3.7x 虛擬環境管理器：virtualenv 代碼編輯器：VS Code 環境搭建 打開 執行下述操作 Hello World 在 目錄下創建一個 __init__.py ，示例代碼如下所示： 在 目錄下創建一個 manage.py 文件， ...
  • oo第一單元作業總結
    前言：由於對面向對象思想認識的不夠深刻，所以這一單元的作業寫的是非常不oo的，從代碼結構來看，結構也顯得有些混亂，，沒有一個清晰的設計。 作業分析 第一次作業 反思 1. 輸入 對於三次的作業其實大部分的難點就是在判斷輸入的合法性上，對於第一次作用來說，最初的想法還是用一整個正則表達式來判斷輸入，但 ...
  • [HNOI2015] 開店
    ~~「前言」為防止在某巨巨的毒瘤idea 紫荊花之“店" 面前一臉懵，特滾來補此題。~~ ~~我還是太naive了。~~ 「題義」給出一棵單點度數很小的無根帶邊權、點權的樹，每次詢問在所有點權在\[l,r\]的點到c的距離之和。 「分析」考慮建立點分樹，分治結構每個點都儲存對應分治範圍（簡稱範圍）內 ...
  • 一文洞悉Python必備50種演算法！資深大牛至少得掌握25種！
    一、環境需求 二、怎樣使用 三、本地化 3.1擴展卡爾曼濾波本地化 3.2無損卡爾曼濾波本地化 3.3粒子濾波本地化 3.4直方圖濾波本地化 四、映射 4.1高斯網格映射 4.2光線投射網格映射 4.3k均值物體聚類 4.4圓形擬合物體形狀識別 五、SLAM 5.1迭代最近點匹配 5.2EKF SL ...
  • JAVA中的CAS
    一、CAS概念與原理 CAS，全稱Compare And Swap（比較與交換），解決多線程並行情況下使用鎖造成性能損耗的一種機制。 實現思想 CAS（V, A, B），V為記憶體地址、A為預期原值，B為新值。如果記憶體地址的值與預期原值相匹配，那麼將該位置值更新為新值。否則，說明已經被其他線程更新，處 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發（一）：使用.NET MAUI開發第一個安卓APP
    移動開發（一）：使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說，近來想嘗試開發一款安卓APP，考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP，畢竟是使用Visual Studio開發工具，使用起來也比較的順手，結合微軟官方的教程進行了安卓 ...
  • wpf ToggleButton選中效果和一個登錄界面
    前言 QuestPDF 是一個開源 .NET 庫，用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫，它徹底改變了我們生成 PDF 文檔的方 ...
  • 彈幕樹洞項目功能新增篇
    項目地址 項目後端地址： https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址： ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址： http://tree ...
  • 第27篇 sqlserver2022詳細安裝步驟
    話不多說，直接開乾 一.下載 1.官方鏈接下載： https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe，運行開始下載SQL server； 二. ...
  • .NET 開源高性能 MQTT 類庫
    前言 隨著物聯網（IoT）技術的迅猛發展，MQTT（消息隊列遙測傳輸）協議憑藉其輕量級和高效性，已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫，為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog文檔翻譯系列（六） - 可用的接收器、增強器、格式化輸出
    Serilog支持多種接收器用於日誌存儲，增強器用於添加屬性，LogContext管理動態屬性，支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項，適用於不同需求。 ...
  • 警惕 Visual Studio 屬性求值副作用導致邏輯不符合預期
    目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據，爬取信息時需要模擬瀏覽器行為，否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下： 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • [使用目前最新版]HybridCLR6.9.0+YooAsset2.2.4實現純C# Unity熱更新方案 (一)
    1.前言 什麼是熱更新 游戲或者軟體更新時，無需重新下載客戶端進行安裝，而是在應用程式啟動的情況下，在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR，Xlua，ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles，Addressable， ...
  • 在 ASP.NET Core Web API 中使用操作篩選器統一處理通用操作
    本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺，其實像阿裡雲，騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後，它會送 ...
  • 第28篇 如何.net中實現高效可靠數據同步api
    通過以下方式可以高效，並保證數據同步的可靠性 1.API設計 使用RESTful設計，確保API端點明確，並使用適當的HTTP方法（如POST用於創建，PUT用於更新）。 設計清晰的請求和響應模型，以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證，確保接收到的數據符合預期格 ...
所有分類