Nodejs寫的搬家工具知識分享

来源:http://www.cnblogs.com/handboy/archive/2017/07/16/7182875.html
-Advertisement-
Play Games

這篇文章 主要學習這兩個模塊的使用: request-promise-native : https://github.com/request/request-promise-native cheerio :https://github.com/cheeriojs/cheerio request-pr ...


這篇文章 主要學習這兩個模塊的使用:

request-promise-native : https://github.com/request/request-promise-native cheerio :https://github.com/cheeriojs/cheerio  

nodejs有個request模塊,專門處理這些網路請求方面的。 就像.NET也有request,webclient,httpclient啥的。。。

nodejs的request使用方法在這,自己查一下: https://github.com/request/request

而我喜歡用async和await的寫法,因此我還引入了request-promise-native 模塊, https://github.com/request/request-promise-native  ,這個就相當於.NET中httpclient吧。

好了背景就講這麼多,我們就開始簡單的使用request-promise-native,進行模擬提交。

我用淘寶鏡像安裝模塊,會比較快比較快一些,註冊淘寶鏡像方式:

npm install -g cnpm --registry=https://registry.npm.taobao.org

然安裝模塊:

cnpm install --save request
cnpm install --save request-promise-native

 

我們登陸後 ,嘗試發一篇文章,然我們分析一下提交的東西:

主要是 Cookie以及 FormData。

好了,然後我們寫一個 cnblogs,來處理提交,代碼:

const request = require('request-promise-native');
// const proxy = 'http://127.0.0.1:8888';
const url = 'https://i.cnblogs.com/EditPosts.aspx?opt=1';
class Cnblogs {
  static async save({ title, content, postdate }) {
    let response = await request({
      url: url,
      method: 'POST',
      headers: {
        Cookie: '[隱私隱私隱私]',
      },
      form: {
        __VIEWSTATE: '===========',
        __VIEWSTATEGENERATOR: 'FE27D343',
        Editor$Edit$txbTitle: title,
        Editor$Edit$EditorBody: `<p style="color: red; font-weight: bold;">原文發佈時間為:${postdate} —— 來源於本人的百度文章 [由搬家工具導入]</p>${content}`,
        Editor$Edit$APOptions$Advancedpanel1$cklCategories$0: '1031596',
        Editor$Edit$Advanced$ckbPublished: 'on',
        Editor$Edit$Advanced$chkDisplayHomePage: 'on',
        Editor$Edit$Advanced$chkComments: 'on',
        Editor$Edit$Advanced$chkMainSyndication: 'on',
        Editor$Edit$lkbPost: '發佈'
      }
    });
    return response;
  }
}

module.exports = Cnblogs;
嗯,我們建立一個 app.js 調用一下測試吧:
const cnblogs = require('./cnblogs');

const main = async () => {
  try {
    let response = await cnblogs.save('測試','測試內容','2018-01-01');
    console.log(response);
  } catch (err) {
    console.error('[ERROR]', err);
  }
};

main();
執行node app,我們發現, 導入成功了。。。。 我用類似的方法 從自己百度文章抓取文章,然後調用 cnblogs.save(); 進行導入:

 

抓取文章也是很簡單的,為了方便從response查找dom,我們可以用這個模塊 cheerio : https://github.com/cheeriojs/cheerio , 就類似於我們做.NET的時候會用 HtmlAgilityPack 來查找dom一樣。

cheerio 可以去看看,他的語法跟jquery一樣,使用起來很方便。


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • Python網路數據採集3 數據存到CSV以及MySql 先熱熱身,下載某個頁面的所有圖片。 https://www.pythonscraping.com/sites/default/files/lrg_0.jpg http://pythonscraping.com/img/lrg%20(1).jp ...
  • 最近有人問我 系統設計的原則,事實上不論今天各個技術棧怎麼演化,那些本質的原則與方法不會變, 讓我們回顧一下 這些原則:•分散關註 Separation of concerns. Divide your application into distinct features with as littl... ...
  • javascript的面向對象 面向對象的特點分為三類:繼承 封裝 多態 首先你得理解面向過程:假如把一件東西放到一個箱子里,面向過程就是第一部打開箱子,然後把東西放進去,然後關閉箱子: 面向對象:就是把箱子看成一個對象,這個對象有屬性比如說長寬高尺寸這些,他還有一個功能就是裝東西.裝東西這個就I相 ...
  • 1.圖片放大鏡的思路: 當打開頁面時只有圖片 首先,說一下基本效果和調理,圖片放大鏡,也就是當你滑鼠移入當前的商品圖片時,會出現一個小灰色的觀察移動框,有點會出現一個對應部位的放大的圖片。 然後當滑鼠移動時,右邊的放大鏡會出現對應部位的放大圖片 最後當滑鼠移開後,小的觀察框和放大的圖片都會消失。 2 ...
  • 1. 你曾經是否說想要 高度占頁面或者占div百分比無效的問題,相信你也搜索過了,就是說 需要 設置父親父親一直到祖宗html都要設置百分比,才有效果。 總之一句話:想用百分比設置他的高度,則它的父親中至少有一個是固定高度,不然的話 全部父親直到祖宗html(因為html外面就是瀏覽器,它是有高度的 ...
  • 經常會用到的es6的知識點 提到es6我們就來說說javascript,es6也是ES2015 1. 1995:JavaScript誕生,它的初始名叫LiveScript。 2. 1997:ECMAScript標準確立。 3. 1999:ES3出現,與此同時IE5風靡一時。 4. 2000–2005 ...
  • React在Github上已經有接近70000的 star 數了,是目前最熱門的前端框架。而我學習React也有一段時間了,現在就開始用 React+Redux 進行實戰! 上回說到使用Redux進行狀態管理,這次我們使用Redux-saga 管理 Redux 應用非同步操作 React 實踐項目 ( ...
  • 我們都知道clearfix一般這麼寫: 但是為嘛用 display:table哪? 我用display:block好像也是顯示很正常,也能清除浮動。 曾經也搜索過這個問題,感覺都講得糊裡糊塗的還是我水平太低了,反正我是看不懂他們想要表達啥意思,也不給例子,好了,廢話不多說, 看結果吧: See th ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...