一個java 知乎爬蟲程式，使用echart 做圖表展示
好久沒寫博客了。。前陣子項目忙著上線，現在有點空閑，就把最近寫的一個爬蟲和大家分享下。
這個程式源於一個作業，我把最後的統計結果放在了自己買的阿裡雲伺服器上，就是一個知乎爬蟲程式。
以下是我抓取到的部分數據統計結果（）：
程式是在工作之餘寫的，用了java 的webmgic 框架，這是國內黃億華大師的作品，框架的核心思想借鑒了python 的scrapy 爬蟲。之前也有用scrapy 抓取過一些數據，但這次想嘗試下新的東西，結果真的很贊。
簡單來說，這個爬蟲程式被分為了以下4個部分：
Downloader:下載器，一心一意從給的的url中下載網頁。
PageProcessor:頁面分析器，負責頁面分析，並提取鏈接。
Scheduler:調度器，從事url 管理，從PageProcessor 獲取url，然後把它交給Downloader 下載。
Pipeline:管道，負責將分析後的內容保存起來，mysql 或者文件中。
嗯，框架的整個架構很清晰，另外還有就是webmagic 的一大特色，就是框架使用了Ioc的思想，提供了註解的功能，結合mybatis 框架，及其方便的的實現了PageProcessor 和Pipeline這兩部分。如果從網頁中通過正則或者xpath 提取數據不需要經過二次處理，則我們可以用很少的代碼量便可將數據插入資料庫，當然如果要將數據加工處理完再放入資料庫的話，就要自己寫個PageProcessor。
在寫這個程式的時候，踩過一些坑，這裡簡單說一下。
1、在使用scheduler的時候，webmagic 支持提供了RedisScheduler和FileCacheQueueScheduler，我選擇了前者，預設只支持使用一個資料庫，後面稍微拓展了下，允許通過傳入 index 來指定redis中資料庫，這樣就可以實現多個爬蟲同時實用redis 中不同的資料庫了。
2、阿裡雲安裝redis 時候，一開始沒有到redis.conf中設置daemonize 為yes ,導致在shell 中啟動redis 卡死了好些次。
3、爬蟲爬了半天後，先後出現這兩個錯，
1.WARNING overcommit_memory is set to 0! Background save may fail under low memory condition. To fix this issue add 'vm.overcommit_memory = 1' to /etc/sysctl.conf and then reboot or run the command 'sysctl vm.overcommit_memory=1' for this to take effect. 2.WARNING: The TCP backlog setting of 511 cannot be enforced because /proc/sys/net/core/somaxconn is set to the lower value of 128.
解決方案是：
問題一： echo “vm.overcommit_memory=1” > /etc/sysctl.conf 或 vi /etcsysctl.conf , 然後reboot重啟機器
問題二：echo 511 > /proc/sys/net/core/somaxconn
4、關於登陸的問題，在瀏覽器端登陸後，把cookie 複製出來放到請求里就好，另外自己參考這網上的一些示例寫了一個簡單的模擬登陸的小程式，支持一些沒有用js動態控制和生產token的網站，實現了登陸後把cookie 寫入配置文件。
private Site site = Site.me().setCycleRetryTimes(5).setRetryTimes(5).setSleepTime(300).setTimeOut(3 * 60 * 1000)
.setUserAgent(
"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_2) AppleWebKit/537.31 (KHTML, like Gecko) Chrome/26.0.1410.65 Safari/537.31")
.setCharset("UTF-8")
.addCookie("_xsrf", "cf81e98c4f3b9ea548e9df87a4e5a320")
.addCookie("_za", "8d9d4056-20d8-4d22-bdf7-e88443560b4e")
.addCookie("z_c0", "QUFDQVBrOGlBQUFYQUFBQVlRSlZUYUQ2dGxiSGozdE42SnNlbzg0U2o2WGk5RDZ2Yi1VWUd3PT0=|1452240288|066af60adedc1989e42f55733738e2738a00c2ed") ;
5、其實寫這程式的時候是希望實現通過web 的方式來控制啟用和停止爬蟲的，中間試過延遲載入bean ,來實現web 控制爬蟲啟動，但不知咋停止。後面聽朋友說，公司一般都是通過腳本來控制爬蟲，事實我也是把爬蟲丟在linux 上，用腳本控制的，於是乎就覺得這需求沒有多大必要，就木有折騰了。嗯，如果非得做出功能的話，大概也是在web程式裡面實現腳本調用這樣功能吧。
最後總結下，寫這個爬蟲還是蠻有樂趣的。從寫爬蟲，後面買阿裡雲的伺服器，安裝nginx,mysql,redis,git，然後用自己在公司學到的spring-boot+mybatis這一套，配合著百度echart，簡單整合了下，做出了點能讓人看到東西，學到不少。
最後貼上程式在github 上的 地址 https://github.com/QiuMing/zhihuWebSpider
簡單的的模擬的登陸程式，可以保存cookie 到配置文件 https://github.com/QiuMing/SimulateLogin
