RecursionError: maximum recursion depth exceeded

来源:https://www.cnblogs.com/buxizhizhoum/archive/2022/05/12/16264833.html
-Advertisement-
Play Games

環境 python 版本3.6.4 gevent 1.5.0 gunicorn 20.1.0 錯誤 RecursionError: maximum recursion depth exceeded while calling a Python object 錯誤原因 根據錯誤棧,出問題的代碼在pyt ...


環境

python 版本3.6.4

gevent 1.5.0

gunicorn 20.1.0

錯誤

RecursionError: maximum recursion depth exceeded while calling a Python object

錯誤原因

根據錯誤棧,出問題的代碼在python官方ssl包ssl.py第465行,具體代碼

class SSLContext(_SSLContext):

    @property
    def options(self):
        return Options(super().options)

    @options.setter
    def options(self, value):
        # 這就是拋錯的代碼
        super(SSLContext, SSLContext).options.__set__(self, value)

在對SSLContext實例設置option屬性的時候,會調用到super(SSLContext, SSLContext).options.__set__(self, value)

問題的原因在於先導入了ssl包,然後才進行了gevent patch,這樣上面這一行代碼中的SSLContext實際上已經被patch成了gevent._ssl3.SSLContext

gevent._ssl3.SSLContext相關的代碼如下

class SSLContext(orig_SSLContext):
    @orig_SSLContext.options.setter
    def options(self, value):
        super(orig_SSLContext, orig_SSLContext).options.__set__(self, value)

gevent._ssl3.SSLContext中繼承的orig_SSLContext就是python官方的ssl.SSLContext

所以整體的邏輯就變成了

1.super(SSLContext, SSLContext).options.__set__(self, value)

2.由於已經經過了patch,所以SSLContext實際上是gevent._ssl3.SSLContext,那麼super(SSLContext, SSLContext).options.__set__(self, value)實際上是super(gevent._ssl3.SSLContext, gevent._ssl3.SSLContext).options.__set__(self, value)

3.由於gevent繼承了ssl.SSLContext所以會調用到SSLContext的options.setter方法,這樣就回到了1,在這裡開始了無限遞歸

所以patch時機不對,導致調用SSLContext實際是調用了gevent._ssl.SSLContext

如果先patch再導入,則自始至終都是gevent._ssl3.SSLContext,調用的代碼變成super(orig_SSLContext, orig_SSLContext).options.__set__(self, value)

orig_SSLContextssl.SSLContext

patch時機正確,則直接從gevent._ssl.SSLContext調用

根本原因

拋出異常的原因清楚了,我們再來找找為什麼會拋出這個異常

先看gunicorn的啟動順序,為了清晰,我省略了無關的代碼,只列出了和啟動相關的代碼

gunicorn啟動的入口是WSGIApplication().run()

WSGIApplication繼承了ApplicationApplication繼承BaseApplicationBaseApplication__init__方法中調用了self.do_load_config()進行配置載入

首先,進行初始化,在__init__中調用了這個方法

def do_load_config(self):
    """
Loads the configuration
"""
try:
        # 對cfg進行初始化,讀取配置
        self.load_default_config()
        # 載入配置文件
        self.load_config()
    except Exception as e:
        print("\nError: %s" % str(e), file=sys.stderr)
        sys.stderr.flush()
        sys.exit(1)

self.do_load_config()調用self.load_default_config()self.load_config()
對cfg進行初始化

接著,調用run方法,WSGIApplication沒有實現run方法,則調用Applicationrun方法

def run(self):
    if self.cfg.print_config or self.cfg.check_config:
        try:
            # 在這裡載入app
            self.load()
        except Exception:
            sys.exit(1)
        sys.exit(0)

    # 這裡會調用Arbiter的run方法
    super().run()

可以看到調用了self.load()

接著看load方法

def load(self):
    if self.cfg.paste is not None:
        return self.load_pasteapp()
    else:
        # 我們目前走這裡
        return self.load_wsgiapp()

所以load這裡載入了我們的app

接著,Applicationrun方法最後會調用Arbiterrun方法

def run(self):
    "Main master loop."
self.start()
    util._setproctitle("master [%s]" % self.proc_name)

    try:
        # 這裡處理worker
        self.manage_workers()
        # 省略部分代碼
    except Exception:
        sys.exit(-1)

啟動worker最終會調用spawn_worker

def spawn_worker(self):
    self.worker_age += 1
    # 在配置中設置的worker class
    worker = self.worker_class(self.worker_age, self.pid, self.LISTENERS,
                               self.app, self.timeout / 2.0,
                               self.cfg, self.log)
    # 省略部分代碼
    try:
        # 這裡初始化,對gevent而言,初始化的時候,才會進行patch
        worker.init_process()
        sys.exit(0)
    except SystemExit:
        raise

worker的init_process方法如下

def init_process(self):
    # 在這裡調用patch
    self.patch()
    hub.reinit()
    super().init_process()

self.patch()的實現

def patch(self):
    # 在這裡進行patch
    monkey.patch_all()

綜上,gunicorn啟動的時候,載入順序為:

配置文件載入 -> app載入 -> worker初始化

此外我們還發現,在gunicorn處理config的時候,在gunicorn.config中導入了ssl包,所以在worker初始化之前ssl包已經被導入了,後面的patch又把ssl包patch成了gevent._ssl3,最終導致了上面的問題

復現

問題找到,我們先構造一個可以復現的例子

app.py

from flask import Flask
import requests

app = Flask(__name__)

from requests.packages.urllib3.util.ssl_ import create_urllib3_context
ctx = create_urllib3_context()


@app.route("/test")
def test():
    requests.get("https://www.baidu.com")
    return "test"


if __name__ == "__main__":
    app.run(debug=True)

啟動命令

gunicorn -w 2 --worker-class gevent --preload -b 0.0.0.0:5000 app:app

現在當我們啟動後,調用http://127.0.0.1:5000/test 就會觸發RecursionError

解決

既然問題在於ssl包導入之後才進行patch,那麼我們前置patch即可,考慮到配置文件載入在載入app之前,如果我們在配置文件載入時patch,則是目前能夠找到的最早的patch時機。

配置文件gunicorn_config.py

import gevent.monkey
gevent.monkey.patch_all()

workers = 8

啟動命令

gunicorn --config config.py --worker-class gevent --preload -b 0.0.0.0:5000 app:app

問題解決


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 一、引言 A表數據同步至B表的場景很常見,比如一個公司有總部及分廠,它們使用相同的系統,只是賬套不同。此時,一些基礎數據如物料信息,只需要總部錄入即可,然後間隔一定時間同步至分廠,避免了重覆工作。 二、測試數據 CREATE TABLE StudentA ( ID VARCHAR(32), Name ...
  • 本文介紹什麼是 SQL 的聚集函數,如何利用它們彙總表的數據。這些函數很高效,它們返回結果一般比你在自己的客戶端應用程式中計算要快得多。 一、聚集函數 我們經常需要彙總數據而不用把它們實際檢索出來,為此 SQL 提供了專門的函數。使用這些函數,SQL 查詢可用於檢索數據,以便分析和報表生成。這種類型 ...
  • 本文介紹什麼是函數,DBMS 支持何種函數,以及如何使用這些函數;還將講解為什麼 SQL 函數的使用可能會帶來問題。 一、函數 與大多數其他電腦語言一樣,SQL 也可以用函數來處理數據。函數一般是在數據上執行的,為數據的轉換和處理提供了方便。 SQL 如何創建計算欄位 中用來去掉字元串尾的空格的 ...
  • 本文介紹什麼是計算欄位,如何創建計算欄位,我們用例子說明瞭計算欄位在字元串拼接和算術計算中的用途。以及如何從應用程式中使用別名引用它們。 一、計算欄位 存儲在資料庫表中的數據一般不是應用程式所需要的格式,下麵舉幾個例子。 需要顯示公司名,同時還需要顯示公司的地址,但這兩個信息存儲在不同的表列中。 城 ...
  • 轉載請標明出處,維權必究: https://www.cnblogs.com/tangZH/p/12543154.html Glide作為一個強大的圖片載入框架,已經被android官方使用,所以,明白Glide的載入流程以及原理對加深我們對glide的理解是很重要的。 本文基於glide 4.11 ...
  • 在 OpenHarmony 生態發展過程中,涌現了大批優秀的代碼貢獻者,本專題旨在表彰貢獻、分享經驗,文中內容來自嘉賓訪談,不代表 OpenHarmony 工作委員會觀點。 ...
  • Vue3使用插槽時的父子組件傳值 用法見官方文檔深入組件章節,插槽部分: 參考文檔:插槽-作用域插槽-插槽prop 作用域插槽 有時讓插槽內容能夠訪問子組件中才有的數據是很有用的。 需求:插槽內容能夠訪問子組件中才有的數據 實現 子組件 TodoList.vue <template> <div v- ...
  • C++自定義迭代器:介紹了【什麼時候需要用到自定義迭代器】和【如何實現自定義迭代器】。 ...
一周排行
    -Advertisement-
    Play Games
  • 什麼是工廠模式 工廠模式是最常用的設計模式之一,屬於創建型模式。 有點: 解耦,可以把對象的創建和過程分開 減少代碼量,易於維護 什麼時候用? 當一個抽象類有多個實現的時候,需要多次實例化的時候,就要考慮使用工廠模式。 比如:登錄的抽象類ILoginBusiness,它有2個實現,一個用用戶名密碼登 ...
  • 這次iNeuOS升級主要升級圖形渲染引擎和增加豐富的圖元信息,可以很快的方案應用。總共增加41個通用和行業領域的圖元應用,增加2154個圖元信息,現在iNeuOS視圖建模功能模塊總共包括5894個行業圖元信息。現在完全支持製作高保真的工藝流程和大屏展示效果。 ...
  • 效果圖先附上: 首先 這是我是參考 教程:使用 SignalR 2 和 MVC 5 實時聊天 | Microsoft Docs 先附上教程: 在“添加新項 - SignalRChat”中,選擇 InstalledVisual> C#>WebSignalR>,然後選擇 SignalR Hub 類 (v ...
  • 一、前言 項目中之前涉及到胎兒心率圖曲線的繪製,最近項目中還需要添加心電曲線和血樣曲線的繪製功能。今天就來分享一下心電曲線的繪製方式; 二、正文 1、胎兒心率曲線的繪製是通過DrawingVisual來實現的,這裡的心電曲線我也是採用差不多相同的方式來實現的,只是兩者曲線的數據有所區別。心電圖的數據 ...
  • 安裝 Redis # 首先安裝依賴gcc, 後面需要使用make編譯redis yum install gcc -y # 進入 /usr/local/src 目錄, 把源碼下載到這裡 cd /usr/local/src # 下載 redis 7.0.2 的源碼,github被牆,可以使用國內的地址 ...
  • Redis 的定義? 百度百科: Redis(Remote Dictionary Server ),即遠程字典服務,是一個開源的使用ANSI C語言編寫、支持網路、可基於記憶體亦可持久化的日誌型、Key-Value資料庫,並提供多種語言的API。 中文官網: Redis是一個開源(BSD許可),記憶體存 ...
  • 事情的起因是收到了一位網友的請求,他的java課設需要設計實現迷宮相關的程式——如標題概括。 我這邊不方便透露相關信息,就只把任務要求寫出來。 演示視頻指路👉: 基於JavaFX圖形界面的迷宮程式演示_嗶哩嗶哩_bilibili 完整代碼鏈接🔎: 網盤:https://pan.baidu.com ...
  • Python中的字典 Python中的字典是另一種可變容器模型,且可存儲任意類型對象。鍵值使用冒號分割,你可以看成是一串json。 常用方法 獲取字典中的值 dict[key] 如果key不存在會報錯,建議使用dict.get(key),不存在返回None 修改和新建字典值 dict[key]=va ...
  • 迎面走來了你的面試官,身穿格子衫,挺著啤酒肚,髮際線嚴重後移的中年男子。 手拿泡著枸杞的保溫杯,胳膊夾著MacBook,MacBook上還貼著公司標語:“加班使我快樂”。 面試官: 看你簡歷上用過MySQL,問你幾個簡單的問題吧。什麼是聚簇索引和非聚簇索引? 這個問題難不住我啊。來之前我看一下一燈M ...
  • tunm二進位協議在python上的實現 tunm是一種對標JSON的二進位協議, 支持JSON的所有類型的動態組合 支持的數據類型 基本支持的類型 "u8", "i8", "u16", "i16", "u32", "i32", "u64", "i64", "varint", "float", "s ...