WebMagic的結構分為Downloader、PageProcessor、Scheduler、Pipeline四大組件,並由Spider將它們彼此組織起來。這四大組件對應爬蟲生命周期中的下載、處理、管理和持久化等功能 PageProcessor 需要自己寫 Scheduler 除非項目有一些特殊的 ...
WebMagic的結構分為Downloader
、PageProcessor
、Scheduler
、Pipeline
四大組件,並由Spider將它們彼此組織起來。這四大組件對應爬蟲生命周期中的下載、處理、管理和持久化等功能
PageProcessor 需要自己寫
Scheduler 除非項目有一些特殊的分散式需求,否則無需自己定製
Pipeline 要保存到資料庫需要自己定製
Selectable
方法 | 說明 | 示例 |
---|---|---|
xpath(String xpath) | 使用XPath選擇 | html.xpath("//div[@class='title']") |
$(String selector) | 使用Css選擇器選擇 | html.$("div.title") |
$(String selector,String attr) | 使用Css選擇器選擇 | html.$("div.title","text") |
css(String selector) | 功能同$(),使用Css選擇器選擇 | html.css("div.title") |
links() | 選擇所有鏈接 | html.links() |
regex(String regex) | 使用正則表達式抽取 | html.regex("\<div\>(.\*?)\") |
regex(String regex,int group) | 使用正則表達式抽取,並指定捕獲組 | html.regex("\<div\>(.\*?)\",1) |
replace(String regex, String replacement) | 替換內容 | html.replace("\","") |
返回結果
方法 | 說明 | 示例 |
---|---|---|
get() | 返回一條String類型的結果 | String link= html.links().get() |
toString() | 功能同get(),返回一條String類型的結果 | String link= html.links().toString() |
all() | 返回所有抽取結果 | List links= html.links().all() |
match() | 是否有匹配結果 | if (html.links().match()){ xxx; } |
Spider
方法 | 說明 | 示例 |
---|---|---|
create(PageProcessor) | 創建Spider | Spider.create(new GithubRepoProcessor()) |
addUrl(String…) | 添加初始的URL | spider .addUrl("http://webmagic.io/docs/") |
addRequest(Request...) | 添加初始的Request | spider .addRequest("http://webmagic.io/docs/") |
thread(n) | 開啟n個線程 | spider.thread(5) |
run() | 啟動,會阻塞當前線程執行 | spider.run() |
start()/runAsync() | 非同步啟動,當前線程繼續執行 | spider.start() |
stop() | 停止爬蟲 | spider.stop() |
test(String) | 抓取一個頁面進行測試 | spider .test("http://webmagic.io/docs/") |
addPipeline(Pipeline) | 添加一個Pipeline,一個Spider可以有多個Pipeline | spider .addPipeline(new ConsolePipeline()) |
setScheduler(Scheduler) | 設置Scheduler,一個Spider只能有個一個Scheduler | spider.setScheduler(new RedisScheduler()) |
setDownloader(Downloader) | 設置Downloader,一個Spider只能有個一個Downloader | spider .setDownloader(new SeleniumDownloader()) |
get(String) | 同步調用,並直接取得結果 | ResultItems result = spider .get("http://webmagic.io/docs/") |
getAll(String…) | 同步調用,並直接取得一堆結果 | List<ResultItems> results = spider .getAll("http://webmagic.io/docs/", "http://webmagic.io/xxx") |
Site
方法 | 說明 | 示例 |
---|---|---|
setCharset(String) | 設置編碼 | site.setCharset("utf-8") |
setUserAgent(String) | 設置UserAgent | site.setUserAgent("Spider") |
setTimeOut(int) | 設置超時時間,單位是毫秒 | site.setTimeOut(3000) |
setRetryTimes(int) | 設置重試次數 | site.setRetryTimes(3) |
setCycleRetryTimes(int) | 設置迴圈重試次數 | site.setCycleRetryTimes(3) |
addCookie(String,String) | 添加一條cookie | site.addCookie("dotcomt_user","code4craft") |
setDomain(String) | 設置功能變數名稱,需設置功能變數名稱後,addCookie才可生效 | site.setDomain("github.com") |
addHeader(String,String) | 添加一條addHeader | site.addHeader("Referer","https://github.com") |
setHttpProxy(HttpHost) | 設置Http代理 | site.setHttpProxy(new HttpHost("127.0.0.1",8080)) |
Xsoup
Name | Expression | Support |
nodename | nodename | yes |
immediate parent | / | yes |
parent | // | yes |
attribute | [@key=value] | yes |
nth child | tag[n] | yes |
attribute | /@key | yes |
wildcard in tagname | /* | yes |
wildcard in attribute | /[@*] | yes |
function | function() | part |
or | a | b | yes since 0.2.0 |
parent in path | . or .. | no |
predicates | price>35 | no |
predicates logic | @class=a or @class=b | yes since 0.2.0 |
另外作者自己定義了幾個對於爬蟲來說,很方便的XPath函數。但是請註意,這些函數式標準XPath沒有的。
Expression | Description | XPath1.0 |
---|---|---|
text(n) | 第n個直接文本子節點,為0表示所有 | text() only |
allText() | 所有的直接和間接文本子節點 | not support |
tidyText() | 所有的直接和間接文本子節點,並將一些標簽替換為換行,使純文本顯示更整潔 | not support |
html() | 內部html,不包括標簽的html本身 | not support |
outerHtml() | 內部html,包括標簽的html本身 | not support |
regex(@attr,expr,group) | 這裡@attr和group均可選,預設是group0 | not support |
代理
API | 說明 |
---|---|
HttpClientDownloader.setProxyProvider(ProxyProvider proxyProvider) | 設置代理 |
1.設置單一的普通HTTP代理為101.101.101.101的8888埠,並設置密碼為"username","password"
HttpClientDownloader httpClientDownloader = new HttpClientDownloader(); httpClientDownloader.setProxyProvider(SimpleProxyProvider.from(new Proxy("101.101.101.101",8888,"username","password"))); spider.setDownloader(httpClientDownloader);
2.設置代理池,其中包括101.101.101.101和102.102.102.102兩個IP,沒有密碼
HttpClientDownloader httpClientDownloader = new HttpClientDownloader(); httpClientDownloader.setProxyProvider(SimpleProxyProvider.from( new Proxy("101.101.101.101",8888) ,new Proxy("102.102.102.102",8888)));
HttpRequestBody
API | 說明 |
---|---|
HttpRequestBody.form(Map\<string,object> params, String encoding) | 使用表單提交的方式 |
HttpRequestBody.json(String json, String encoding) | 使用JSON的方式,json是序列化後的結果 |
HttpRequestBody.xml(String xml, String encoding) | 設置xml的方式,xml是序列化後的結果 |
HttpRequestBody.custom(byte[] body, String contentType, String encoding) | 設置自定義的requestBody |
組件的使用
方法 | 說明 | 示例 |
---|---|---|
setScheduler() | 設置Scheduler | spipder.setScheduler(new FileCacheQueueScheduler("D:\data\webmagic")) |
setDownloader() | 設置Downloader | spipder.setDownloader(new SeleniumDownloader())) |
addPipeline() | 設置Pipeline,一個Spider可以有多個Pipeline | spipder.addPipeline(new FilePipeline()) |
結果輸出方式
類 | 說明 | 備註 |
---|---|---|
ConsolePipeline | 輸出結果到控制台 | 抽取結果需要實現toString方法 |
FilePipeline | 保存結果到文件 | 抽取結果需要實現toString方法 |
JsonFilePipeline | JSON格式保存結果到文件 | |
ConsolePageModelPipeline | (註解模式)輸出結果到控制台 | |
FilePageModelPipeline | (註解模式)保存結果到文件 | |
JsonFilePageModelPipeline | (註解模式)JSON格式保存結果到文件 | 想要持久化的欄位需要有getter方法 |