##urllib的4個模板 1.request:最基本的http請求模塊,用來模擬發送請求,就像是在瀏覽器中輸入一個網址然後回車一樣,只需要傳入uel,timeout等參數就可以實現一個模擬請求。 主要功能:用於模擬發送請求打開和讀取URL。 2.error:異常處理模塊,如果出現請求錯誤,我們可以 ...
urllib的4個模板
1.request:最基本的http請求模塊,用來模擬發送請求,就像是在瀏覽器中輸入一個網址然後回車一樣,只需要傳入uel,timeout等參數就可以實現一個模擬請求。
主要功能:用於模擬發送請求打開和讀取URL。
2.error:異常處理模塊,如果出現請求錯誤,我們可以捕獲這些請求,然後進行重試或其他操作以保證程式不會意外終止。
主要功能:進行異常處理
3.parse:一個工具模塊,提供了許多URL處理方法,比如拆分,解析,合併等2
主要功能:用於解析URL
robotparser:主要用來識別網站的robots.txt文件,然後判斷哪些網站可以爬,哪些網站不可以爬,它其實用的比較少。
主要功能:用來解析robots.txt文件
下載模塊需要win + r 在終端輸入 pip install 模塊名 即可完成下載
ps:requests 模塊真的非常好用,會簡化很多操作,請求,獲取等操作往往只需要幾行代碼就可以完成,真的c!