最近寫了一個爬蟲,需要連接國外的一個網站,經常出現掉線的情況,自己寫了一個自動重連的代碼,但感覺不夠簡潔。。。 後來就上萬能的github,找到了一個第三包,基本能滿足我的要求。這個第三方包就是retrying. 我的需求就是每當出現request相關異常的時候,就自動重來,上限連接10次;使用代碼 ...
最近寫了一個爬蟲,需要連接國外的一個網站,經常出現掉線的情況,自己寫了一個自動重連的代碼,但感覺不夠簡潔。。。
後來就上萬能的github,找到了一個第三包,基本能滿足我的要求。這個第三方包就是retrying.
我的需求就是每當出現request相關異常的時候,就自動重來,上限連接10次;使用代碼如下:
1 from retrying import retry 2 3 def is_request_exception(e): 4 return issubclass(type(e),RequestException) 5 6 @retry(retry_on_exception=is_request_exception,wrap_exception=False, stop_max_attempt_number=10) 7 def request_get(url, timeout=120): 8 return requests.get(url, timeout=120)
剛開始用的時候,也遇到一些坑,就是在request_get用了try..except,導致不成功。後來刪除就可以了。。。
我理解,在retring包中,已經有exception處理了,如果你的代碼中有了exception處理,retring就沒有捕獲異常,就沒法達到期望的結果了。
retrying還有非常多的自定義參數,如果等待時長控制,總共等待時間控制等等,暫時還沒有這麼特別的要求,等需要的時候,我再去研究一下。