前言 周末自己在家閑著沒事,刷著微信,玩著手機,發現自己的微信頭像該換了,就去網上找了一下頭像,看著圖片,自己就想著作為一個碼農,可以把這些圖片都爬取下來做成一個微信小程式,說乾就乾,瞭解一下基本都知道怎麼做了,整理分享一波給大家。 目錄 前言 周末自己在家閑著沒事,刷著微信,玩著手機,發現自己的微 ...
前言
周末自己在家閑著沒事,刷著微信,玩著手機,發現自己的微信頭像該換了,就去網上找了一下頭像,看著圖片,自己就想著作為一個碼農,可以把這些圖片都爬取下來做成一個微信小程式,說乾就乾,瞭解一下基本都知道怎麼做了,整理分享一波給大家。
目錄
- 安裝node,並下載依賴
- 搭建服務
- 請求我們要爬取的頁面,返回json
安裝node
我們開始安裝node,可以去node官網下載https://nodejs.org/zh-cn/,下載完成後運行node使用,
node -v
安裝成功後會出現你所安裝的版本號。
接下來我們使用node, 列印出hello world,新建一個名為index.js文件輸入
console.log('hello world')
運行這個文件
node index.js
就會在控制面板上輸出hello world
搭建伺服器
新建一個·名為node的文件夾。
首先你需要下載express依賴
npm install express
再新建一個名為demo.js的文件 目錄結構如圖:
在demo.js引入下載的express
const express = require('express'); const app = express(); app.get('/index', function(req, res) { res.end('111') }) var server = app.listen(8081, function() { var host = server.address().address var port = server.address().port console.log("應用實例,訪問地址為 http://%s:%s", host, port) })
運行node demo.js簡單的服務就搭起來了,如圖:
請求我們要爬取的頁面
請求我們要爬取的頁面
npm install superagent npm install superagent-charset npm install cheerio
superagent 是用來發起請求的,是一個輕量的,漸進式的ajax api,可讀性好,學習曲線低,內部依賴nodejs原生的請求api,適用於nodejs環境下.,也可以使用http發起請求
superagent-charset防止爬取下來的數據亂碼,更改字元格式
cheerio為伺服器特別定製的,快速、靈活、實施的jQuery核心實現.。 安裝完依賴就可以引入了
var superagent = require('superagent'); var charset = require('superagent-charset'); charset(superagent); const cheerio = require('cheerio');
引入之後就請求我們的地址,https://www.qqtn.com/tx/weixintx_1.html,如圖:
聲明地址變數:
const baseUrl = 'https://www.qqtn.com/'
這些設置完之後就是發請求了,接下來請看完整代碼demo.js
var superagent = require('superagent'); var charset = require('superagent-charset'); charset(superagent); var express = require('express'); var baseUrl = 'https://www.qqtn.com/'; //輸入任何網址都可以 const cheerio = require('cheerio'); var app = express(); app.get('/index', function(req, res) { //設置請求頭 res.header("Access-Control-Allow-Origin", "*"); res.header('Access-Control-Allow-Methods', 'PUT, GET, POST, DELETE, OPTIONS'); res.header("Access-Control-Allow-Headers", "X-Requested-With"); res.header('Access-Control-Allow-Headers', 'Content-Type'); //類型 var type = req.query.type; //頁碼 var page = req.query.page; type = type || 'weixin'; page = page || '1'; var route = `tx/${type}tx_${page}.html` //網頁頁面信息是gb2312,所以chaeset應該為.charset('gb2312'),一般網頁則為utf-8,可以直接使用.charset('utf-8') superagent.get(baseUrl + route) .charset('gb2312') .end(function(err, sres) { var items = []; if (err) { console.log('ERR: ' + err); res.json({ code: 400, msg: err, sets: items }); return; } var $ = cheerio.load(sres.text); $('div.g-main-bg ul.g-gxlist-imgbox li a').each(function(idx, element) { var $element = $(element); var $subElement = $element.find('img'); var thumbImgSrc = $subElement.attr('src'); items.push({ title: $(element).attr('title'), href: $element.attr('href'), thumbSrc: thumbImgSrc }); }); res.json({ code: 200, msg: "", data: items }); }); }); var server = app.listen(8081, function() { var host = server.address().address var port = server.address().port console.log("應用實例,訪問地址為 http://%s:%s", host, port) })
運行demo.js就會返回我們拿到的數據,如圖:
一個簡單的node爬蟲就完成了。希望可以到 項目上點一個 star 作為你對這個項目的認可與支持,謝謝。
項目地址:https://github.com/Mr-MengBo/Reptilian