Python爬蟲連載7-cookie的保存與讀取、SSL講解

来源:https://www.cnblogs.com/ruigege0000/archive/2020/02/14/12305976.html

一、cookie的保存與讀取 1.cookie的保存-FileCookie.Jar from urllib import request,parse from http import cookiejar #創建cookiejar實例 filename = "cookie.txt" cookie = ...


一、cookie的保存與讀取

1.cookie的保存-FileCookie.Jar

 

from urllib import request,parse

from http import cookiejar

#創建cookiejar實例

filename = "cookie.txt"

cookie = cookiejar.MozillaCookieJar(filename)

#生成cookie的管理器

cookie_handler = request.HTTPCookieProcessor(cookie)

#創建http請求管理器

http_handler = request.HTTPHandler()

#生成https管理器

https_handler = request.HTTPHandler()

#創建請求管理器

opener = request.build_opener(http_handler,https_handler,cookie_handler)

​

def login():

    """

    負責初次登錄

    需要輸入用戶名密碼

    :return:

    """

    url = "http://www.renren.com/PLogin.do"

    data = {

        "email":"[email protected]",

        "password":"481648541615485"

    }

    #把數據進行編碼

    data = parse.urlencode(data)

    #創建一個請求對象

    req = request.Request(url,data=data.encode())

    #使用opener發起請求

    rep = opener.open(req)

    #保存cookie到文件

    #ignore_discard表示及時cookie將要被丟棄也要保存下來

    #ignore_expire表示如果該文件中cookie即使已經過期,保存

    cookie.save(ignore_discard=True,ignore_expires=True)

​

def getHomePage():

    url = "http://www.renren.com/965187997/profile"

    #如果已經執行了login函數,則opener自動已經包含相應的cookie值

    rsp = opener.open(url)

​

    html = rsp.read().decode()

    with open("rsp.html","w") as f:

        f.write(html)

​

if __name__ == "__main__":

    """

    執行完login之後,會得到授權之後的cookie

    我們嘗試把cookie列印出來

    """

    login()

    getHomePage()

2.cookie的讀取

 

from urllib import request,parse

from http import cookiejar

#創建cookiejar實例

cookie = cookiejar.MozillaCookieJar()

cookie.load("cookie.txt",ignore_discard=True,ignore_expires=True)

​

#生成cookie的管理器

cookie_handler = request.HTTPCookieProcessor(cookie)

#創建http請求管理器

http_handler = request.HTTPHandler()

#生成https管理器

https_handler = request.HTTPHandler()

#創建請求管理器

opener = request.build_opener(http_handler,https_handler,cookie_handler)

​

def login():

    """

    負責初次登錄

    需要輸入用戶名密碼

    :return:

    """

    url = "http://www.renren.com/PLogin.do"

    data = {

        "email":"[email protected]",

        "password":"481648541615485"

    }

    #把數據進行編碼

    data = parse.urlencode(data)

    #創建一個請求對象

    req = request.Request(url,data=data.encode())

    #使用opener發起請求

    rep = opener.open(req)

    #保存cookie到文件

    #ignore_discard表示及時cookie將要被丟棄也要保存下來

    #ignore_expire表示如果該文件中cookie即使已經過期,保存

    cookie.save(ignore_discard=True,ignore_expires=True)

​

def getHomePage():

    url = "http://www.renren.com/965187997/profile"

    #如果已經執行了login函數,則opener自動已經包含相應的cookie值

    rsp = opener.open(url)

​

    html = rsp.read().decode()

    with open("rsp.html","w") as f:

        f.write(html)

​

​

if __name__ == "__main__":

    """

    執行完login之後,會得到授權之後的cookie

    我們嘗試把cookie列印出來

    """

    # login()

    getHomePage()

 

改代碼讀取了保存的cookie文件,並且​訪問網頁成功。

二、SSL

1.什麼是SSL

(1)SSL證書就是指遵守SSL安全套階層協議的伺服器數字證書(SercureSocketLayer)

(2)該證書是由美國網景公司開發

(3)CA(CertifacateAuthority)是數字證書認證中心,是發放、管理、廢除數字證書的收信人的​第三方機構。

(4)遇到不信任的SSL證書,可以用代碼進行忽略掉

 

from urllib import request

#導入python ssl處理模塊

import ssl

#利用非認證上下文環境替換認證的下文環境

ssl._create_default_https_context = ssl._create_unverified_context

url = "https://www.12306.cn/mormhweb/"

rsp = request.urlopen(url)

​

html = rsp.read().decode()

​

print(html)

 

三、源碼

Reptitle7_1_SaveCookie.py

Reptitle7_2_LoadCookie.py

Reptitle7_3_SSLAnalysis.py

https://github.com/ruigege66/PythonReptile/blob/master/Reptitle7_1_SaveCookie.py

https://github.com/ruigege66/PythonReptile/blob/master/Reptitle7_2_LoadCookie.py

https://github.com/ruigege66/PythonReptile/blob/master/Reptitle7_3_SSLAnalysis.py

2.CSDN:https://blog.csdn.net/weixin_44630050

3.博客園:https://www.cnblogs.com/ruigege0000/

4.歡迎關註微信公眾號:傅里葉變換,個人公眾號,僅用於學習交流,後臺回覆”禮包“,獲取大數據學習資料

 

 


您的分享是我們最大的動力!

更多相關文章
  • 概念 ​ 什麼是模塊, 一個模塊是一塊具有獨立功能的代碼, 可以是一個函數, 一個對象,甚至是一個字元串或數字,通常存儲為一個單獨的j s文件。 為什麼需要模塊化? 過去,j s很難編寫大型應用, 因為有以下兩個問題: 1. 全局變數污染 2. 難以管理的依賴關係 這兩個問題導致j s無法進行精細的 ...
  • 報錯: gyp verb check python checking for Python executable "python2" in the PATH gyp verb check python checking for Python executable "python" in the PA ...
  • 首先看一段代碼: let obj = { x: 100 }; function fn(y) { this.x += y; console.log(this); } 現在有一個需求:在1秒後,執行函數fn,並讓其this指向obj。 如果寫成 setTimeout(fn, 1000); 這麼寫的話,f ...
  • 1、建造者模式介紹: 2、建造者模式角色分析 3、方式一:建造模式的常規用法(有指揮) 4、方式二:用戶可以自定義套餐和選擇預設套餐(沒有指揮者) 5、優點分析: 6、缺點分析: 7、應用場景: 8、建造者模式與抽象工廠模式的比較 ...
  • CAP定理: 在一個分散式系統中,Consistency(數據一致性)、 Availability(服務可用性)、Partition tolerance(分區容錯性),三者不可兼得。 一致性(Consistency) 在分散式系統中的所有數據備份(副本),在同一時刻數據的值是否一致。(等同於所有節點 ...
  • 當你第一次定義Protocol Buffer的消息的時候,你肯定會給消息設定一套規則需求。但是隨著時間的推進,你的業務可能會發生了變化,與此同時,你的Protocol Buffer消息類型的需求也會隨之變化。 也就是說:有一些欄位可能會發生變化,可能會添加一些欄位,也可能會刪除一些欄位。但是可能有很 ...
  • 00.瞭解反射 請從記憶體的角度分析對象創建的過程 1.找到主函數所在的類,該類.class載入到方法區,通過反射調用這個主方法,方法進棧 01.瞭解IDE,類路徑 02.位元組碼對象Class 源代碼部分截圖: 知識點1: 3種獲取Class位元組碼對象的方式及優缺點 知識點2: 通過位元組碼Class創 ...
  • 前言 今天一番在22:30開始準備今日的日更,冒著極大的斷更風險,研究了一個開源項目,批量下載手機壁紙。 因為一番每天都為文章開頭的配圖撓頭,正向從網上批量抓取一些美圖,以充實庫存。 剛好,一番昨日的文章里有這麼一個抓取手機背景圖片的開源項目,於是一番今天嘗試了下。 要知道,一般調試一段未知代碼,一 ...
一周排行
  • 前幾天發佈了 "抄抄《CSS 故障藝術》的動畫" 這篇文章,在這篇文章里介紹瞭如何使用Win2D繪製文字然後配合BlendEffect製作故障藝術的動畫。本來打算就這樣收手不玩這個動畫了,但後來又發現性能不符合理想。明明只是做做Resize動畫和用BlendEffect混合,為什麼性能會這麼差呢? ...
  • 控制條控制項: progressBar 不能按照你程式的進程自動變化,需認為計算,調整變化量 private void progressBar1_Click(object sender, EventArgs e) { this.progressBar1.Maximum = 100;//設置進度條最大長 ...
  • 首先創建一個asp.net core web應用程式 第二步 目前官方預置了7種模板項目供我們選擇。從中我們可以看出,既有我們熟悉的MVC、WebAPI,又新添加了Razor Page,以及結合比較流行的Angular、React前端框架的模板項目。 空項目模板 Program.cs using S ...
  • 對閉包的理解 1.對於成員變數和局部變數:成員變數就是方法外部,類的內部定義的變數;局部變數就是方法或語句塊內部定義的變數。局部變數必須初始化。 形式參數是局部變數,局部變數的數據存在於棧記憶體中。棧記憶體中的局部變數隨著方法的消失而消失。成員變數存儲在堆中的對象裡面,由垃圾回收器負責回收。 成員變數它 ...
  • Xamarin.Forms讀取並展示Android和iOS通訊錄 TerminalMACS客戶端 本文同步更新地址: https://dotnet9.com/11520.html https://terminalmacs.com/861.html 閱讀導航: 一、功能說明 二、代碼實現 三、源碼獲取 ...
  • 做下對文件複製操作相關的筆記: /// <summary> /// 文件幫助類 /// </summary> public class FileHelper { /// <summary> /// 複製一個目錄下所有文件到一個新目錄下 /// </summary> /// <param name=" ...
  • 前言 有一個東西叫做鴨子類型,所謂鴨子類型就是,只要一個東西表現得像鴨子那麼就能推出這玩意就是鴨子。 C 裡面其實也暗藏了很多類似鴨子類型的東西,但是很多開發者並不知道,因此也就沒法好好利用這些東西,那麼今天我細數一下這些藏在編譯器中的細節。 不是只有 和 才能 在 C 中編寫非同步代碼的時候,我們經 ...
  • [toc] 1.應用背景 底端設備有大量網路報文(位元組數組):心跳報文,數據採集報文,告警報文上報。需要有對應的報文結構去解析這些位元組流數據。 2.結構體解析 由此,我第一點就想到了用結構體去解析。原因有以下兩點: 2.1.結構體存在棧中 類屬於引用類型,存在堆中;結構體屬於值類型,存在棧中,在一個 ...
  • 《深入淺出 C#》 (第3版) [作者] (美) Andrew Stellman (美) Jennifer Greene[譯者] (中) 徐陽 丁小峰 等譯[出版] 中國電力出版社[版次] 2016年08月 第1版[印次] 2018年04月 第4次 印刷[定價] 148.00元 【引子】 要學習編程 ...
  • 記錄使用對象初始值設定項初始化對象。 using System; using System.Collections.Generic; namespace ConsoleApp2 { class Program { static void Main(string[] args) { // 使用構造函數 ...
x