Scrapy.http.Request 自動去重,根據url的哈希值,進行去重 屬性 meta(dict) 在不同的請求之間傳遞數據,dict priority(int) 此請求的優先順序(預設為0) dont_filter(boolean) 關閉自動去重 errback(callable) 在處理請 ...
Scrapy.http.Request
自動去重,根據url的哈希值,進行去重
屬性
meta(dict) 在不同的請求之間傳遞數據,dict
priority(int) 此請求的優先順序(預設為0)
dont_filter(boolean) 關閉自動去重
errback(callable) 在處理請求時引發任何異常時將調用的函數
flags(list) 發送給請求的標誌,可用於日誌記錄或類似目的
方法
copy() 返回一個新的請求,改請求是此請求的副本
replace() 返回一個更新對的request
FormRequest
scrapy框架內置了一個FormRequest類,它擴展了基類Request,具有處理HTML表單的功能
post請求的時候,使用FormRequest將數據傳入formdata參數即可
日誌使用
LOG_FILE 日誌輸出文件,如果為None,就列印在控制台
LOG_ENABLED 是否啟用日誌,預設True
LOG_ENCODING 日期編碼,預設utf-8
LOG_LEVEL 日誌等級,預設debug
LOG_FORMAT 日誌格式
LOG_DATEFORMAT 日誌日期格式
LOG_STDOUT 日誌標準輸出,預設False,如果True所有標準輸出都將寫入日誌中
LOG_SHORT_NAMES 短日誌名,預設為False,如果True將不輸出組件名
一般只在settings配置文件中添加