Java 爬蟲遇到需要登錄的網站,該怎麼辦?

来源:https://www.cnblogs.com/jamaler/archive/2019/10/10/11645569.html
-Advertisement-
Play Games

這是 Java 網路爬蟲系列博文的第二篇,在上一篇 "Java 網路爬蟲,就是這麼的簡單" 中,我們簡單的學習了一下如何利用 Java 進行網路爬蟲。在這一篇中我們將簡單的聊一聊在網路爬蟲時,遇到需要登錄的網站,我們該怎麼辦? 在做爬蟲時,遇到需要登陸的問題也比較常見,比如寫腳本搶票之類的,但凡需要 ...


這是 Java 網路爬蟲系列博文的第二篇,在上一篇 Java 網路爬蟲,就是這麼的簡單 中,我們簡單的學習了一下如何利用 Java 進行網路爬蟲。在這一篇中我們將簡單的聊一聊在網路爬蟲時,遇到需要登錄的網站,我們該怎麼辦?

在做爬蟲時,遇到需要登陸的問題也比較常見,比如寫腳本搶票之類的,但凡需要個人信息的都需要登陸,對於這類問題主要有兩種解決方式:一種方式是手動設置 cookie ,就是先在網站上面登錄,複製登陸後的 cookies ,在爬蟲程式中手動設置 HTTP 請求中的 Cookie 屬性,這種方式適用於採集頻次不高、採集周期短,因為 cookie 會失效,如果長期採集的話就需要頻繁設置 cookie,這不是一種可行的辦法,第二種方式就是使用程式模擬登陸,通過模擬登陸獲取到 cookies,這種方式適用於長期採集該網站,因為每次採集都會先登陸,這樣就不需要擔心 cookie 過期的問題。

為了能讓大家更好的理解這兩種方式的運用,我以獲取豆瓣個人主頁昵稱為例,分別用這兩種方式來獲取需要登陸後才能看到的信息。獲取信息如下圖所示:


獲取圖片中的缺心眼那叫單純,這個信息顯然是需要登陸後才能看到的,這就符合我們的主題啦。接下來分別用上面兩種辦法來解決這個問題。

手動設置 cookie 的方式,這種方式比較簡單,我們只需要在豆瓣網上登陸,登陸成功後就可以獲取到帶有用戶信息的cookie,豆瓣網登錄鏈接:https://accounts.douban.com/passport/login。如下圖所示:

圖中的這個 cookie 就攜帶了用戶信息,我們只需要在請求時攜帶這個 cookie 就可以查看到需要登陸後才能查看到的信息。我們用 Jsoup 來模擬一下手動設置 cookie 方式,具體代碼如下:

/**
 * 手動設置 cookies
 * 先從網站上登錄,然後查看 request headers 裡面的 cookies
 * @param url
 * @throws IOException
 */
public void setCookies(String url) throws IOException {

    Document document = Jsoup.connect(url)
            // 手動設置cookies
            .header("Cookie", "your cookies")
            .get();
    //
    if (document != null) {
        // 獲取豆瓣昵稱節點
        Element element = document.select(".info h1").first();
        if (element == null) {
            System.out.println("沒有找到 .info h1 標簽");
            return;
        }
        // 取出豆瓣節點昵稱
        String userName = element.ownText();
        System.out.println("豆瓣我的網名為:" + userName);
    } else {
        System.out.println("出錯啦!!!!!");
    }
}

從代碼中可以看出跟不需要登陸的網站沒什麼區別,只是多了一個.header("Cookie", "your cookies"),我們把瀏覽器中的 cookie 複製到這裡即可,編寫 main 方法

public static void main(String[] args) throws Exception {
    // 個人中心url
    String user_info_url = "https://www.douban.com/people/150968577/";
    new CrawleLogin().setCookies(user_info_url);

運行 main 得到結果如下:

可以看出我們成功獲取到了缺心眼那叫單純,這說明我們設置的 cookie 是有效的,成功的拿到了需要登陸的數據。這種方式是真的比較簡單,唯一的不足就是需要頻繁的更換 cookie,因為 cookie 會失效,這讓你使用起來就不是很爽啦。

模擬登陸方式

模擬登陸的方式可以解決手動設置 cookie 方式的不足之處,但同時也引入了比較複雜的問題,現在的驗證碼形形色色、五花八門,很多都富有挑戰性,比如在一堆圖片中操作某類圖片,這個還是非常有難度,不是隨便就能夠編寫出來。所以對於使用哪種方式這個就需要開發者自己去衡量利弊啦。今天我們用到的豆瓣網,在登陸的時候就沒有驗證碼,對於這種沒有驗證碼的還是比較簡單的,關於模擬登陸方式最重要的就是找到真正的登陸請求、登陸需要的參數。 這個我們就只能取巧了,我們先在登陸界面輸入錯誤的賬號密碼,這樣頁面將不會跳轉,所以我們就能夠輕而易舉的找到登陸請求。我來演示一下豆瓣網登陸查找登陸鏈接,我們在登陸界面輸入錯誤的用戶名和密碼,點擊登陸後,在 network 查看發起的請求鏈接,如下圖所示:

從 network 中我們可以查看到豆瓣網的登陸鏈接為https://accounts.douban.com/j/mobile/login/basic,需要的參數有五個,具體參數查看圖中的 Form Data,有了這些之後,我們就能夠構造請求模擬登陸啦。登陸後進行後續操作,接下來我們就用 Jsoup 來模擬登陸到獲取豆瓣主頁昵稱,具體代碼如下:

/**
 * Jsoup 模擬登錄豆瓣 訪問個人中心
 * 在豆瓣登錄時先輸入一個錯誤的賬號密碼,查看到登錄所需要的參數
 * 先構造登錄請求參數,成功後獲取到cookies
 * 設置request cookies,再次請求
 * @param loginUrl 登錄url
 * @param userInfoUrl 個人中心url
 * @throws IOException
 */
public void jsoupLogin(String loginUrl,String userInfoUrl)  throws IOException {

    // 構造登陸參數
    Map<String,String> data = new HashMap<>();
    data.put("name","your_account");
    data.put("password","your_password");
    data.put("remember","false");
    data.put("ticket","");
    data.put("ck","");
    Connection.Response login = Jsoup.connect(loginUrl)
            .ignoreContentType(true) // 忽略類型驗證
            .followRedirects(false) // 禁止重定向
            .postDataCharset("utf-8")
            .header("Upgrade-Insecure-Requests","1")
            .header("Accept","application/json")
            .header("Content-Type","application/x-www-form-urlencoded")
            .header("X-Requested-With","XMLHttpRequest")
            .header("User-Agent","Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36")
            .data(data)
            .method(Connection.Method.POST)
            .execute();
    login.charset("UTF-8");
    // login 中已經獲取到登錄成功之後的cookies
    // 構造訪問個人中心的請求
    Document document = Jsoup.connect(userInfoUrl)
            // 取出login對象裡面的cookies
            .cookies(login.cookies())
            .get();
    if (document != null) {
        Element element = document.select(".info h1").first();
        if (element == null) {
            System.out.println("沒有找到 .info h1 標簽");
            return;
        }
        String userName = element.ownText();
        System.out.println("豆瓣我的網名為:" + userName);
    } else {
        System.out.println("出錯啦!!!!!");
    }
}

這段代碼分兩段,前一段是模擬登陸,後一段是解析豆瓣主頁,在這段代碼中發起了兩次請求,第一次請求是模擬登陸獲取到 cookie,第二次請求時攜帶第一次模擬登陸後獲取的cookie,這樣也可以訪問需要登陸的頁面,修改 main 方法

public static void main(String[] args) throws Exception {
    // 個人中心url
    String user_info_url = "https://www.douban.com/people/150968577/";

    // 登陸介面
    String login_url = "https://accounts.douban.com/j/mobile/login/basic";

    // new CrawleLogin().setCookies(user_info_url);
    new CrawleLogin().jsoupLogin(login_url,user_info_url);
}

運行 main 方法,得到如下結果:

模擬登陸的方式也成功的獲取到了網名缺心眼那叫單純,雖然這已經是最簡單的模擬登陸啦,從代碼量上就可以看出它比設置 cookie 要複雜很多,對於其他有驗證碼的登陸,我就不在這裡介紹了,第一是我在這方面也沒什麼經驗,第二是這個實現起來比較複雜,會涉及到一些演算法和一些輔助工具的使用,有興趣的朋友可以參考崔慶才老師的博客研究研究。模擬登陸寫起來雖然比較複雜,但是只要你編寫好之後,你就能夠一勞永逸,如果你需要長期採集需要登陸的信息,這個還是值得你的做的。

除了使用 jsoup 模擬登陸外,我們還可以使用 httpclient 模擬登陸,httpclient 模擬登陸沒有 Jsoup 那麼複雜,因為 httpclient 能夠像瀏覽器一樣保存 session 會話,這樣登陸之後就保存下了 cookie ,在同一個 httpclient 內請求就會帶上 cookie 啦。httpclient 模擬登陸代碼如下:

/**
 * httpclient 的方式模擬登錄豆瓣
 * httpclient 跟jsoup差不多,不同的地方在於 httpclient 有session的概念
 * 在同一個httpclient 內不需要設置cookies ,會預設緩存下來
 * @param loginUrl
 * @param userInfoUrl
 */
public void httpClientLogin(String loginUrl,String userInfoUrl) throws Exception{

    CloseableHttpClient httpclient = HttpClients.createDefault();
    HttpUriRequest login = RequestBuilder.post()
            .setUri(new URI(loginUrl))// 登陸url
            .setHeader("Upgrade-Insecure-Requests","1")
            .setHeader("Accept","application/json")
            .setHeader("Content-Type","application/x-www-form-urlencoded")
            .setHeader("X-Requested-With","XMLHttpRequest")
            .setHeader("User-Agent","Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36")
            // 設置賬號信息
            .addParameter("name","your_account")
            .addParameter("password","your_password")
            .addParameter("remember","false")
            .addParameter("ticket","")
            .addParameter("ck","")
            .build();
    // 模擬登陸
    CloseableHttpResponse response = httpclient.execute(login);
    if (response.getStatusLine().getStatusCode() == 200){
        // 構造訪問個人中心請求
        HttpGet httpGet = new HttpGet(userInfoUrl);
        CloseableHttpResponse user_response = httpclient.execute(httpGet);
        HttpEntity entity = user_response.getEntity();
        //
        String body = EntityUtils.toString(entity, "utf-8");

        // 偷個懶,直接判斷 缺心眼那叫單純 是否存在字元串中
        System.out.println("缺心眼那叫單純是否查找到?"+(body.contains("缺心眼那叫單純")));
    }else {
        System.out.println("httpclient 模擬登錄豆瓣失敗了!!!!");
    }
}

運行這段代碼,返回的結果也是 true。

有關 Java 爬蟲遇到登陸問題就聊得差不多啦,來總結一下:對於爬蟲遇到登陸問題有兩種解決辦法,一種是手動設置cookie,這種方式適用於短暫性採集或者一次性採集,成本較低。另一種方式是模擬登陸的方式,這種方式適用於長期採集的網站,因為模擬登陸的代價還是蠻高的,特別是一些變態的驗證碼,好處就是能夠讓你一勞永逸

以上就是 Java 爬蟲時遇到登陸問題相關知識分享,希望對你有所幫助,下一篇是關於爬蟲是遇到數據非同步載入的問題。如果你對爬蟲感興趣,不妨關註一波,相互學習,相互進步

源代碼:源代碼

文章不足之處,望大家多多指點,共同學習,共同進步

最後

打個小廣告,歡迎掃碼關註微信公眾號:「平頭哥的技術博文」,一起進步吧。
平頭哥的技術博文


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 4、數字 4.1 不同進位表示法 ES6中新增了不同進位的書寫格式,在後臺傳參的時候要註意這一點。 4.2 精確到指定位數的小數 將數字四捨五入到指定的小數位數。使用 Math.round() 和模板字面量將數字四捨五入為指定的小數位數。 省略第二個參數 decimals ,數字將被四捨五入到一個整 ...
  • 真實生活中的對象、屬性和方法 在真實生活中,汽車是一個對象。 汽車有諸如車重和顏色等屬性,也有諸如啟動和停止的方法: car.name = porsche car.model = 911 car.length = 4499mm car.color = white car.start() car.dr ...
  • 現代工業化的推進在極大加速現代化進程的同時也帶來的相應的安全隱患,在傳統的可視化監控領域,一般都是基於 Web SCADA 的前端技術來實現 2D 可視化監控,本系統採用 Hightopo 的 HT for Web 產品來構造輕量化的 3D 可視化場景,該 3D 場景從正面展示了一個現代化工廠的現實... ...
  • 橋接模式與裝飾者模式區別: 橋接模式類圖 裝飾者模式類圖 1、定義: (1)橋接模式:將抽象部分與它的實現部分分離,使它們都可以獨立地變化 (2)裝飾者模式:動態地給一個對象增加一些額外的職責,就增加對象功能來說,裝飾模式比生成子類實現更為靈活 2、“獨立部分”不同: (1)橋接模式:抽象類和實現接 ...
  • 中介者模式(Mediator): 在現實生活中,有很多中介者模式的身影,例如QQ游戲平臺,聊天室、QQ群、簡訊平臺和房產中介。不論是QQ游戲還是QQ群,它們都是充當一個中間平臺,QQ用戶可以登錄這個中間平臺與其他QQ用戶進行交流,如果沒有這些中間平臺,我們如果想與朋友進行聊天的話,可能就需要當面才可 ...
  • 一、多線程調試斷點 的 斷點調試是有一個模式的選擇的,就像下麵這張圖,平時我們都使用的是預設的 (在 中預設是線程模式) ,這種模式我們只能將一個線程斷下來,但其他線程卻已經執行過了;而將其改為 後,就可以多個線程都斷下來,並且可以很方便的切換線程的執行流程,這就是多線程調試。 在 控制台能夠很方便 ...
  • 產品定位 騰訊bugly和fabric不僅僅是可以幫助運營人員分析用戶、優化推廣的數據分析平臺,也是移動開發者的異常上報平臺和應用更新平臺。可以同時為公司產品運營和開發人員提供服務。 產品功能 fabric在查看dashboard頁面之前必須在應用里集成SDK,所以這裡只對fabric官網上給出的功 ...
  • Java的日期類Date Date類 註意:是 java.util.Date ; 而非 java.sql.Date,此類是給資料庫訪問的時候使用的 示例 1 : 時間原點概念 所有的數據類型,無論是整數,布爾,浮點數還是字元串,最後都需要以數字的形式表現出來。 日期類型也不例外,換句話說,一個日期, ...
一周排行
    -Advertisement-
    Play Games
  • Timer是什麼 Timer 是一種用於創建定期粒度行為的機制。 與標準的 .NET System.Threading.Timer 類相似,Orleans 的 Timer 允許在一段時間後執行特定的操作,或者在特定的時間間隔內重覆執行操作。 它在分散式系統中具有重要作用,特別是在處理需要周期性執行的 ...
  • 前言 相信很多做WPF開發的小伙伴都遇到過表格類的需求,雖然現有的Grid控制項也能實現,但是使用起來的體驗感並不好,比如要實現一個Excel中的表格效果,估計你能想到的第一個方法就是套Border控制項,用這種方法你需要控制每個Border的邊框,並且在一堆Bordr中找到Grid.Row,Grid. ...
  • .NET C#程式啟動閃退,目錄導致的問題 這是第2次踩這個坑了,很小的編程細節,容易忽略,所以寫個博客,分享給大家。 1.第一次坑:是windows 系統把程式運行成服務,找不到配置文件,原因是以服務運行它的工作目錄是在C:\Windows\System32 2.本次坑:WPF桌面程式通過註冊表設 ...
  • 在分散式系統中,數據的持久化是至關重要的一環。 Orleans 7 引入了強大的持久化功能,使得在分散式環境下管理數據變得更加輕鬆和可靠。 本文將介紹什麼是 Orleans 7 的持久化,如何設置它以及相應的代碼示例。 什麼是 Orleans 7 的持久化? Orleans 7 的持久化是指將 Or ...
  • 前言 .NET Feature Management 是一個用於管理應用程式功能的庫,它可以幫助開發人員在應用程式中輕鬆地添加、移除和管理功能。使用 Feature Management,開發人員可以根據不同用戶、環境或其他條件來動態地控制應用程式中的功能。這使得開發人員可以更靈活地管理應用程式的功 ...
  • 在 WPF 應用程式中,拖放操作是實現用戶交互的重要組成部分。通過拖放操作,用戶可以輕鬆地將數據從一個位置移動到另一個位置,或者將控制項從一個容器移動到另一個容器。然而,WPF 中預設的拖放操作可能並不是那麼好用。為瞭解決這個問題,我們可以自定義一個 Panel 來實現更簡單的拖拽操作。 自定義 Pa ...
  • 在實際使用中,由於涉及到不同編程語言之間互相調用,導致C++ 中的OpenCV與C#中的OpenCvSharp 圖像數據在不同編程語言之間難以有效傳遞。在本文中我們將結合OpenCvSharp源碼實現原理,探究兩種數據之間的通信方式。 ...
  • 一、前言 這是一篇搭建許可權管理系統的系列文章。 隨著網路的發展,信息安全對應任何企業來說都越發的重要,而本系列文章將和大家一起一步一步搭建一個全新的許可權管理系統。 說明:由於搭建一個全新的項目過於繁瑣,所有作者將挑選核心代碼和核心思路進行分享。 二、技術選擇 三、開始設計 1、自主搭建vue前端和. ...
  • Csharper中的表達式樹 這節課來瞭解一下表示式樹是什麼? 在C#中,表達式樹是一種數據結構,它可以表示一些代碼塊,如Lambda表達式或查詢表達式。表達式樹使你能夠查看和操作數據,就像你可以查看和操作代碼一樣。它們通常用於創建動態查詢和解析表達式。 一、認識表達式樹 為什麼要這樣說?它和委托有 ...
  • 在使用Django等框架來操作MySQL時,實際上底層還是通過Python來操作的,首先需要安裝一個驅動程式,在Python3中,驅動程式有多種選擇,比如有pymysql以及mysqlclient等。使用pip命令安裝mysqlclient失敗應如何解決? 安裝的python版本說明 機器同時安裝了 ...