摘要:本次案例,用定值Cookie實現反爬。 本文分享自華為雲社區《我是怎麼用一個特殊Cookie,限制住別人的爬蟲的》,作者: 夢想橡皮擦 。 Cookie 生成 由於本案例需要用到一個特定的 Cookie ,所以我們需要提前將其生成,你可以直接設置一個固定的字元串,也可以使用 Python 加密 ...
摘要:本次案例,用定值Cookie實現反爬。
本文分享自華為雲社區《我是怎麼用一個特殊Cookie,限制住別人的爬蟲的》,作者: 夢想橡皮擦 。
Cookie 生成
由於本案例需要用到一個特定的 Cookie ,所以我們需要提前將其生成,你可以直接設置一個固定的字元串,也可以使用 Python 加密模塊來加密一段文本,例如本案例加密 夢想橡皮擦。
下麵是一個示例代碼,展示瞭如何使用 Python 的 hashlib 模塊進行加密:
import hashlib # 要加密的文本 text = "夢想橡皮擦" # 使用 sha256 演算法進行加密 encrypted_text = hashlib.sha256(text.encode()).hexdigest() print(encrypted_text)
在這個例子中,我們使用了 hashlib 模塊中的 sha256 演算法對文本進行加密。這個演算法生成了一個長度為 64 位的十六進位哈希值,用於表示加密後的文本。
註意,這個演算法只能用於加密文本,而不能用於解密。因此,一旦文本被加密,就無法恢覆成原來的文本,即不可逆加密/單項加密。
Python Flask 框架生成 Cookie
在 Python 的 Flask 框架中,可以使用 make_response 函數和 set_cookie 方法來生成一個 Cookie。
例如,下麵的代碼片段展示瞭如何在 Flask 中設置一個名為 story 的 Cookie,並將它的值設為前文建立的加密串。
from flask import Flask, make_response app = Flask(__name__) @app.route('/') def index(): resp = make_response('Setting a cookie') encrypted_text = hashlib.sha256(text.encode()).hexdigest() resp.set_cookie('story', encrypted_text) return resp
在這個例子中,我們使用 make_response() 函數創建了一個響應對象,然後使用 set_cookie() 方法來設置 cookie。最後,我們將響應對象返回給客戶端。
註意,上面的代碼僅創建了一個簡單的 Cookie,它只有名稱和值兩個部分。你還可以使用其他可選參數來設置 Cookie 的其他屬性,例如過期時間、功能變數名稱等。
接下來為大家在補充一下 make_response() 相關知識。
Flask make_response 載入模板
在 Flask 中,你可以使用 make_response() 函數和模板系統來生成帶有模板的響應。
下麵是一個示例代碼,展示瞭如何使用 make_response() 函數載入模板:
from flask import Flask, make_response, render_template app = Flask(__name__) @app.route('/') def index(): # 載入模板並渲染 rendered_template = render_template('index.html', title='夢想橡皮擦') # 使用 make_response 函數創建響應 resp = make_response(rendered_template) return resp
在這個例子中,我們首先使用 Flask 的 render_template() 函數載入並渲染了名為 index.html 的模板。然後我們使用 make_response() 函數創建了一個響應對象,並將渲染後的模板作為響應的內容。最後,我們返回了這個響應對象給客戶端。
註意,你需要在 Flask 應用的模板目錄中存在名為 index.html 的模板文件,才能正常使用上述代碼。
然後我們將該視圖函數補充完整,代碼在 app/routes.py 文件中。
@app.route('/') @app.route('/index') def index(): item = { "msg": "後臺傳遞信息" } # 訪問首頁生成一個 Cookie 值,該值用於訪問特定頁面 rendered_template = render_template('index.html', title='夢想橡皮擦') resp = make_response(rendered_template) text = "夢想橡皮擦" # 使用 sha256 演算法進行加密 encrypted_text = hashlib.sha256(text.encode()).hexdigest() resp.set_cookie('story', encrypted_text) return resp
此時當我們訪問爬蟲訓練場首頁的時候,就會在 Cookie 中寫入一個加密之後的字元串。
通過開發者工具,可以查看到響應頭。
最後一步,就是在 Python Flask 框架中判斷剛剛的 Cookie 值,如果存在則響應數據,否則返回 403。
Flask 判斷指定 cookie 是否存在
在 Python 的 Flask 框架中,你可以使用 request.cookies 屬性來判斷指定的 Cookie 是否存在。
例如,下麵的代碼片段展示瞭如何判斷一個名為 story 的 Cookie 是否存在:
from flask import Flask, request app = Flask(__name__) @app.route('/') def index(): if 'story' in request.cookies: # 如果存在 'story' cookie,則執行相應操作 # ... else: # 如果不存在 'story' cookie,則執行相應操作 # ...
將代碼補充完整,文件是 app/antispider/index.py。
@antispider.route('/cookie_demo') def cookie_demo(): if 'story' in request.cookies: # 如果存在 'story' cookie,則執行相應操作 # ... return render_template("antispider/cookie_demo.html") else: return "沒有許可權", 403
補充知識點
在 Python 的 Flask 框架中,除了使用 set_cookie() 方法設置 cookie 以外,還有其他幾種操作 cookie 的方法。
下麵是一些常用的操作 cookie 的方法:
- 設置 cookie 的值:你可以使用 set_cookie() 方法來設置 cookie 的值。例如:
from flask import Flask, make_response app = Flask(__name__) @app.route('/') def index(): resp = make_response('Setting a cookie') resp.set_cookie('user', 'xiangpica') return resp
- 獲取 cookie 的值:你可以使用 request.cookies字典來獲取 cookie 的值。例如:
from flask import Flask, request app = Flask(__name__) @app.route('/') def index(): user = request.cookies.get('user') return user
- 刪除 cookie:你可以使用 set_cookie() 方法並將 cookie 的過期時間設為過去的時間來刪除 cookie。例如:
from flask import Flask, make_response app = Flask(__name__) @app.route('/') def index(): resp = make_response('Deleting a cookie') resp.set_cookie('user', '', expires=0) return resp