node:爬蟲爬取網頁圖片

来源:https://www.cnblogs.com/Limengbo/archive/2018/08/16/9487999.html
-Advertisement-
Play Games

前言 周末自己在家閑著沒事,刷著微信,玩著手機,發現自己的微信頭像該換了,就去網上找了一下頭像,看著圖片,自己就想著作為一個碼農,可以把這些圖片都爬取下來做成一個微信小程式,說乾就乾,瞭解一下基本都知道怎麼做了,整理分享一波給大家。 目錄 前言 周末自己在家閑著沒事,刷著微信,玩著手機,發現自己的微 ...


前言

周末自己在家閑著沒事,刷著微信,玩著手機,發現自己的微信頭像該換了,就去網上找了一下頭像,看著圖片,自己就想著作為一個碼農,可以把這些圖片都爬取下來做成一個微信小程式,說乾就乾,瞭解一下基本都知道怎麼做了,整理分享一波給大家。

目錄

  • 安裝node,並下載依賴
  • 搭建服務
  • 請求我們要爬取的頁面,返回json

 

安裝node

我們開始安裝node,可以去node官網下載https://nodejs.org/zh-cn/,下載完成後運行node使用,

node -v

安裝成功後會出現你所安裝的版本號。

接下來我們使用node, 列印出hello world,新建一個名為index.js文件輸入

console.log('hello world')

運行這個文件

node index.js

就會在控制面板上輸出hello world

搭建伺服器

新建一個·名為node的文件夾。

首先你需要下載express依賴

npm install express 

再新建一個名為demo.js的文件 目錄結構如圖:

在demo.js引入下載的express

const express = require('express');
const app = express();
app.get('/index', function(req, res) {
res.end('111')
})
var server = app.listen(8081, function() {
    var host = server.address().address
    var port = server.address().port
    console.log("應用實例,訪問地址為 http://%s:%s", host, port)

})

運行node demo.js簡單的服務就搭起來了,如圖:

請求我們要爬取的頁面

請求我們要爬取的頁面

npm install superagent
npm install superagent-charset
npm install cheerio

superagent 是用來發起請求的,是一個輕量的,漸進式的ajax api,可讀性好,學習曲線低,內部依賴nodejs原生的請求api,適用於nodejs環境下.,也可以使用http發起請求

superagent-charset防止爬取下來的數據亂碼,更改字元格式

cheerio為伺服器特別定製的,快速、靈活、實施的jQuery核心實現.。 安裝完依賴就可以引入了

var superagent = require('superagent');
var charset = require('superagent-charset');
charset(superagent);
const cheerio = require('cheerio');

引入之後就請求我們的地址,https://www.qqtn.com/tx/weixintx_1.html,如圖:

聲明地址變數:

const baseUrl = 'https://www.qqtn.com/'

這些設置完之後就是發請求了,接下來請看完整代碼demo.js

var superagent = require('superagent');
var charset = require('superagent-charset');
charset(superagent);
var express = require('express');
var baseUrl = 'https://www.qqtn.com/'; //輸入任何網址都可以
const cheerio = require('cheerio');
var app = express();
app.get('/index', function(req, res) {
    //設置請求頭
    res.header("Access-Control-Allow-Origin", "*");
    res.header('Access-Control-Allow-Methods', 'PUT, GET, POST, DELETE, OPTIONS');
    res.header("Access-Control-Allow-Headers", "X-Requested-With");
    res.header('Access-Control-Allow-Headers', 'Content-Type');
    //類型
    var type = req.query.type;
    //頁碼
    var page = req.query.page;
    type = type || 'weixin';
    page = page || '1';
    var route = `tx/${type}tx_${page}.html`
    //網頁頁面信息是gb2312,所以chaeset應該為.charset('gb2312'),一般網頁則為utf-8,可以直接使用.charset('utf-8')
    superagent.get(baseUrl + route)
        .charset('gb2312')
        .end(function(err, sres) {
            var items = [];
            if (err) {
                console.log('ERR: ' + err);
                res.json({ code: 400, msg: err, sets: items });
                return;
            }
            var $ = cheerio.load(sres.text);
            $('div.g-main-bg ul.g-gxlist-imgbox li a').each(function(idx, element) {
                var $element = $(element);
                var $subElement = $element.find('img');
                var thumbImgSrc = $subElement.attr('src');
                items.push({
                    title: $(element).attr('title'),
                    href: $element.attr('href'),
                    thumbSrc: thumbImgSrc
                });
            });
            res.json({ code: 200, msg: "", data: items });
        });
});
var server = app.listen(8081, function() {

    var host = server.address().address
    var port = server.address().port

    console.log("應用實例,訪問地址為 http://%s:%s", host, port)

})

運行demo.js就會返回我們拿到的數據,如圖:

一個簡單的node爬蟲就完成了。希望可以到 項目上點一個 star 作為你對這個項目的認可與支持,謝謝。 

項目地址:https://github.com/Mr-MengBo/Reptilian


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 什麼是職責鏈模式? 重要性:4 星,在項目中能對 if-else 語句進行優化 定義:避免請求發送者與接收者耦合在一起,讓多個對象都有可能接收請求,將這些對象連接成一條鏈,並且沿著這條鏈傳遞請求,直到有對象處理它為止。 主要解決:職責鏈上的處理者負責處理請求,客戶只需要將請求發送到職責鏈上即可,無須 ...
  • 一、背景 CSS有三大特性:層疊性、繼承性、優先順序。 而我們在給CSS定義樣式的時候,經常出現兩個及以上的規則應用在同一元素上,單該元素最終在瀏覽器呈現的效果是應用的哪個規則呢?這就要考慮優先順序的問題了。 CSS優先順序是由CSS權重來作為衡量標準的,權重的計算有一套計算公式,有如下規範: 使用一個4 ...
  • 每個第一次使用jq的開發者都感到驚嘆,jq的$太神奇了,究竟是怎麼做到的使用\$控制dom 贊嘆前人之餘,探究其本源才是前端開發者應該做的事,社區常常說,不要重覆造輪子, 可是啊,連輪子都造不出來,又怎麼去瞭解在什麼環境下用什麼輪子,怎麼樣才可以造成更加優秀的輪子, 不同階段對前端有不同的理解,作為 ...
  • ​ 在開始接觸JavaScript的時候,書上有一句話我記憶深刻, JavaScript是一門單線程語言 ,不管從什麼途徑去獲取這個消息,前端開發者都會記住,哦~~,JavaScript是一門單線程語言,所以alert()會卡住 ​ 為什麼JavaScript是一門單線程語言?因為什麼原因讓Java ...
  • 最基本的寫法 使用indexOf() 看起來性能還不錯的去除方法 假如只要排序的話 我們可以用一行代碼實現 ...
  • 1. jQuery函數的基本語法: $(document).ready(function(){ //代碼塊; }) 2.window.onload()和$(document).ready()的區分: 1)window.onload()它的執行時機是必須等待網頁中所有的內容載入完畢(包括圖片)才能執行 ...
  • 本文 基於 JQuery 擴展了一些 JS日期函數,包括: > 字元串 轉 Date 對象 萬能函數(性能僅 10W次/s,函數有路徑優化,字元串越詭異 耗時越長) > Date 轉 字元串 格式化 > 兩個 Date 的差值 (返回的結果類似 C# TimeSpan 對象) ...
  • var u = navigator.userAgent; var isAndroid = u.indexOf('Android') > -1 || u.indexOf('Adr') > -1; //android終端 var isiOS = !!u.match(/\(i[^;]+;( U;)? CP... ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...