Python爬蟲Scrapy框架入門（0）

想學習爬蟲，又想瞭解python語言，有個python高手推薦我看看scrapy。

scrapy是一個python爬蟲框架，據說很靈活，網上介紹該框架的信息很多，此處不再贅述。專心記錄我自己遇到的問題以及解決方案吧。

給幾個鏈接吧，我是根據這幾個東西來嘗試學習的：

scrapy中文文檔（0.24版，我學習的時候scrapy已經1.1了，也許有些過時）：

　　http://scrapy-chs.readthedocs.io/zh_CN/0.24/intro/overview.html

大神的博客介紹：

　　入門實例：http://www.cnblogs.com/txw1958/archive/2012/07/16/scrapy-tutorial.html

　　安裝：http://www.cnblogs.com/txw1958/archive/2012/07/12/scrapy_installation_introduce.html

scrapy官網（甭指望在這上面下載，反正我沒在這上面下載scrapy）：

　　http://scrapy.org/

不建議在官方網站上下載！！！

為什麼不建議在官網上下載（我也確實沒找到官網上下載當前版本scrapy的whl地址，可能可以下載之前版本），因為scrapy需要依賴很多東西。根據大神的博客，如果你手動下載，至少要安裝這幾個依賴包：

1. python——基本語言平臺
2. Twisted——事件驅動的網路引擎
3. w3lib、libxml2——某個庫文件
4. pyOpenSSL——SSL協議，用於遠程式控制制之類，我猜可能和分散式爬蟲有關吧

然後才是安裝scrapy。很麻煩啊。所以推薦直接用pip安裝（scrapy官方也是推薦pip安裝）。本機pip完成安裝後，只需要在命令行輸入：

　　　　pip install scrapy

一條命令就OK了。簡單方便。但是pip安裝本身還會遇到很多問題，另開文章闡述。

至此scrapy安裝完成。反正身為python和scrapy雙重小白的我，在搭建環境的時候就遇到了許多麻煩。本著學習和記錄的態度，我會把遇到的困難、解決方案一一記錄下來。文章以後也會慢慢更改。如果真的有人看這篇博文，請輕點噴，謝謝~╮(╯▽╰)╭