把之前發表在微信公眾號的爬蟲系列文章遷移過來，熱熱身，就當備份了。 手把手教你寫網路爬蟲（1） 作者：拓海 摘要：從零開始寫爬蟲，初學者的速成指南！ 封面： 大家好，《手把手教你寫網路爬蟲》連載開始了！在筆者的職業生涯中，幾乎沒有發現像網路爬蟲這樣的編程實踐，可以同時吸引程式員和門外漢的註意。本文由 ...
把之前發表在微信公眾號的爬蟲系列文章遷移過來，熱熱身，就當備份了。
手把手教你寫網路爬蟲（1）
作者：拓海
摘要：從零開始寫爬蟲，初學者的速成指南！
封面：
大家好，《手把手教你寫網路爬蟲》連載開始了！在筆者的職業生涯中，幾乎沒有發現像網路爬蟲這樣的編程實踐，可以同時吸引程式員和門外漢的註意。本文由淺入深的把爬蟲技術和盤托出，為初學者提供一種輕鬆的入門方式。請跟隨我們一起踏上爬蟲學習的打怪升級之路吧！
介紹
什麼是爬蟲？
先看看百度百科的定義:
簡單的說網路爬蟲（Web crawler）也叫做網路鏟（Web scraper）、網路蜘蛛（Web spider），其行為一般是先“爬”到對應的網頁上，再把需要的信息“鏟”下來。
為什麼學習爬蟲？
看到這裡，有人就要問了：google、百度等搜索引擎已經幫我們抓取了互聯網上的大部分信息了，為什麼還要自己寫爬蟲呢？這是因為，需求是多樣的。比如在企業中，爬取下來的數據可以作為數據挖掘的數據源。甚至有人為了炒股，專門抓取股票信息。筆者就見過有人為了分析房價，自學編程，爬了綠中介的數據。
在大數據深入人心的時代，網路爬蟲作為網路、存儲與機器學習等領域的交匯點，已經成為滿足個性化網路數據需求的最佳實踐。還猶豫什麼？讓我們開始學習吧！
語言&環境
語言：人生苦短，我用Python。讓Python帶我們飛！
urllib.request：這是Python自帶的庫，不需要單獨安裝，它的作用是為我們打開url獲取html的內容。Python官方文檔的介紹：The urllib.request module defines functions and classes which help in opening URLs (mostly HTTP) in a complex world — basic and digest authentication, redirections, cookies and more.
BeautifulSoup：是一個可以從HTML或XML文件中提取數據的Python庫。它能夠通過你喜歡的轉換器實現慣用的文檔導航，查找，修改文檔的方式。Beautiful Soup會幫你節省數小時甚至數天的工作時間。安裝比較簡單：
$pip install beautifulsoup4
驗證的方法，進入Python直接import一下，如果沒有異常，那就說明安裝成功了！
“美味的湯，綠色的濃湯，
在熱氣騰騰的蓋碗里裝！
誰不願意嘗一嘗，這樣的好湯？
晚餐用的湯，美味的湯！”
BeautifulSoup庫的名字取自《愛麗絲夢游仙境》里的同名詩歌。
爬取數據
接下來，我們就用urllib.request獲取html內容，再用BeautifulSoup提取其中的數據，完成一次簡單的爬取。
把這段代碼保存為get_html.py，然後運行，看看輸出了什麼：
果然，輸出了http://jr.jd.com 這個網頁的全部HTML代碼。
輸出的代碼簡直無法直視，如何方便的找到我們想抓取數據呢？用Chrome打開url，然後按F12，再按Ctrl + Shift + C。如果我們要抓導航欄，就用滑鼠點擊任意一個導航欄的項目，瀏覽器就在html中找到了它的位置。效果如下：
定位到的html代碼：
有了這些信息，就可以用BeautifulSoup提取數據了。升級一下代碼：
把這段代碼保存為get_data.py，然後運行，看看輸出了什麼：
沒錯，得到了我們想要的數據！
BeautifulSoup提供一些簡單的、Python式的函數用來處理導航、搜索、修改分析樹等功能。它是一個工具箱，通過解析文檔為用戶提供需要抓取的數據，因為簡單，所以不需要多少代碼就可以寫出一個完整的應用程式。怎麼樣，是不是覺得只要複製粘貼就可以寫爬蟲了？簡單的爬蟲確實是可以的！
一個迷你爬蟲
我們先定一個小目標：爬取網易雲音樂播放數大於500萬的歌單。
打開歌單的url: http://music.163.com/#/discover/playlist，然後用BeautifulSoup提取播放數<span class="nb">3715</span>。結果表明，我們什麼也沒提取到。難道我們打開了一個假的網頁？
動態網頁：所謂的動態網頁，是指跟靜態網頁相對的一種網頁編程技術。靜態網頁，隨著html代碼的生成，頁面的內容和顯示效果就基本上不會發生變化了——除非你修改頁面代碼。而動態網頁則不然，頁面代碼雖然沒有變，但是顯示的內容卻是可以隨著時間、環境或者資料庫操作的結果而發生改變的。
值得強調的是，不要將動態網頁和頁面內容是否有動感混為一談。這裡說的動態網頁，與網頁上的各種動畫、滾動字幕等視覺上的動態效果沒有直接關係，動態網頁也可以是純文字內容的，也可以是包含各種動畫的內容，這些只是網頁具體內容的表現形式，無論網頁是否具有動態效果，只要是採用了動態網站技術生成的網頁都可以稱為動態網頁。
現在我們明白了，這是一個動態網頁，我們得到它的時候，歌單還沒請求到呢，當然什麼都提取不出來！
我們之前的技術不能執行那些讓頁面產生各種神奇效果的JavaScript 代碼。如果網站的HTML頁面沒有運行JavaScript，就可能和你在瀏覽器里看到的樣子完全不同，因為瀏覽器可以正確地執行JavaScript。用Python 解決這個問題只有兩種途徑：直接從JavaScript 代碼里採集內容，或者用Python 的第三方庫運行JavaScript，直接採集你在瀏覽器里看到的頁面。我們當然選擇後者。今天第一課，不深究原理，先簡單粗暴的實現我們的小目標。
Selenium：是一個強大的網路數據採集工具，其最初是為網站自動化測試而開發的。近幾年，它還被廣泛用於獲取精確的網站快照，因為它們可以直接運行在瀏覽器上。Selenium 庫是一個在WebDriver 上調用的API。WebDriver 有點兒像可以載入網站的瀏覽器，但是它也可以像BeautifulSoup對象一樣用來查找頁面元素，與頁面上的元素進行交互（發送文本、點擊等），以及執行其他動作來運行網路爬蟲。安裝方式與其他Python第三方庫一樣。
$pip install Selenium
驗證一下：
Selenium 自己不帶瀏覽器，它需要與第三方瀏覽器結合在一起使用。例如，如果你在Firefox 上運行Selenium，可以直接看到一個Firefox 視窗被打開，進入網站，然後執行你在代碼中設置的動作。雖然這樣可以看得更清楚，但不適用於我們的爬蟲程式，爬一頁就打開一頁效率太低，所以我們用一個叫PhantomJS的工具代替真實的瀏覽器。
PhantomJS：是一個“無頭”（headless）瀏覽器。它會把網站載入到記憶體並執行頁面上的JavaScript，但是它不會向用戶展示網頁的圖形界面。把Selenium和PhantomJS 結合在一起，就可以運行一個非常強大的網路爬蟲了，可以處理cookie、JavaScript、header，以及任何你需要做的事情。
PhantomJS並不是Python的第三方庫，不能用pip安裝。它是一個完善的瀏覽器，所以你需要去它的官方網站下載，然後把可執行文件拷貝到Python安裝目錄的Scripts文件夾，像這樣：
開始幹活！
打開歌單的第一頁：
http://music.163.com/#/discover/playlist/?order=hot&cat=%E5%85%A8%E9%83%A8&limit=35&offset=0
用Chrome的“開發者工具”F12先分析一下，很容易就看穿了一切。
播放數nb (number broadcast)：29915
封面 msk (mask)：有標題和url
同理，可以找到“下一頁”的url，最後一頁的url是“javascript:void(0)”。
最後，用18行代碼即可完成我們的工作。
把這段代碼保存為get_data.py，然後運行。運行結束後，在程式的目錄里生成了一個playlist.csv文件。
看到成果後是不是很有成就感？如果你感興趣，還可以按照這個思路，找找評論數最多的單曲，再也不用擔心沒歌聽了！
今天的內容比較淺顯，希望對你有用。就先介紹到這裡，我們下期再見！
