數據挖掘_多線程抓取_ZenDei技術網路在線

在這一篇文章中，我們主要來介紹多線程抓取數據。多線程是以併發的方式執行的，在這裡要註意，Python的多線程程式只能運行在一個單核上以併發的方式運行，即便是多核的機器，所以說，使用多線程抓取可以極大地提高抓取效率下麵我們以requests為例介紹多線程抓取，然後在通過與單線程程式比較，體會多線程 ...

在這一篇文章中，我們主要來介紹多線程抓取數據。

多線程是以併發的方式執行的，在這裡要註意，Python的多線程程式只能運行在一個單核上以併發的方式運行，即便是多核的機器，所以說，使用多線程抓取可以極大地提高抓取效率

下麵我們以requests為例介紹多線程抓取，然後在通過與單線程程式比較，體會多線程的效率的提高

這一次，我就不用我的網站做測試了，因為網站的內容此時還並不是太多，不能體現多線程的優勢

我們通過噹噹網來測試我們的多線程實例，通過對搜索結果的同一抓取實現功能的演示，搜索模式地址如下

http://search.dangdang.com/?key=Python&act=input&page_index=1

　可以看到key代表的是搜索關鍵字，act代表你是通過什麼方式搜索的，page_index代表的是搜索頁面的頁碼

在抓取到上面的頁碼後，要對裡面的信息進行提取，最後將提取的信息保存在文本文件中，文件中保存每一本書的書名，以及他的鏈接

下麵我們定義抓取實驗所需要的方法(或函數)

# coding=utf-8
__Author__ = "susmote"

import requests
from bs4 import BeautifulSoup


def format_str(s):
    return s.replace("\n", "").replace(" ", "").replace("\t", "")

def get_urls_in_pages(from_page_num, to_page_num):
    urls = []
    search_word = "python"
    url_part_1 = "http://search.dangdang.com/?key="
    url_part_2 = "&act=input"
    url_part_3 = "&page_index="
    for i in range(from_page_num, to_page_num + 1):
        urls.append(url_part_1 + search_word + url_part_2 + url_part_3 + str(i))
    all_href_list = []
    for url in urls:
        print(url)
        resp = requests.get(url)
        bs = BeautifulSoup(resp.text, "lxml")
        a_list = bs.find_all("a")
        needed_list = []
        for a in a_list:
            if 'name' in a.attrs:
                name_val = a['name']
                href_val = a['href']
                title = a.text
                if 'itemlist-title' in name_val and title != "":
                    if [title, href_val] not in needed_list:
                        needed_list.append([format_str(title), format_str(href_val)])
        all_href_list += needed_list
    all_href_file = open(str(from_page_num) + '_' + str(to_page_num) + '_' + 'all_hrefs.txt', 'w')
    for href in all_href_list:
        all_href_file.write('\t'.join(href) + '\n')
    all_href_file.close()
    print(from_page_num, to_page_num, len(all_href_list))

　　下麵我們來解釋一下這些代碼

首先，format_str是用來在提取信息後去掉多餘的空白

而get_url_in_pages方法是執行功能的主體，這個方法接收的參數是指頁碼的範圍，函數體中，urls主要用來存放基於兩個參數所生成的所有要抓取的頁面的鏈接，我把url分為3個部分，也是為了方便之後對鏈接的組合，然後的for迴圈就是做的是拼接的工作，這裡我不多做解釋了，如果不懂，請留言

下一步，我們定義了一個列表all_href_list ,這個列表是用來存儲每頁中包含圖書信息的，實際上它又是一個嵌套的列表，裡面的元素是[書名，鏈接],他的形式如下所示

all_href_list = [
    ['書名1'， "鏈接1"],
    ['書名2'， "鏈接2"],
    ['書名3'， "鏈接3"],
    ......
]

後面的代碼就是對滅一頁進行抓取和提取信息了，這部分的代碼都在for url in urls這個迴圈體中，首先列印鏈接，然後調用requs的get方法，獲取頁面，之後又使用BeautifulSoup將get請求放回的HTML文本進行分析，轉為BeautifulSoup能夠處理的結構，命名為bs

之後我們定義的needed_list是用來存放書名和鏈接的，bs.find_all('a')抽取了頁面中所有的鏈接元素,for a in a_list 對每一個列表中的元素進行遍歷分析，在這之前，我們通過瀏覽器發現了他的結構

每個書籍元素中都會有一個屬性name,值為"itemlist_title"，通過這個我們很容易的就篩選出了書籍元素，然後將書籍信息，以及鏈接元素href一同存入列表，在存之前，我們還做了一些判斷，是否已經存在這個鏈接了，和這個元素的鏈接為空

每抽取完一個頁面的鏈接後，就可以把它加入到all_href_list中，也就是下麵這行代碼

all_href_list += needed_list

　　註意我在這裡使用的是 += 運算符

獲取到範圍內所有的鏈接元素後，就可以寫入文件了，在這裡我不做過多解釋了

然後我們下一步就是定義多線程了，因為我們搜索關鍵詞總的頁數是32頁

所以我們在這裡準備用3個線程來完成這些任務，也就是每個線程處理10個頁面，在單線程的情況下，這30頁用一個線程單獨完成

下麵我們給出抓取方案的代碼

# coding=utf-8
__Author__ = "susmote"

import time
import threading
from mining_func import get_urls_in_pages

def multiple_threads_test():
    start_time = time.time()
    page_range_list = [
        (1, 10),
        (11, 20),
        (21, 32),
    ]
    
    th_list = []
    for page_range in page_range_list:
        th = threading.Thread(target = get_urls_in_pages, args = (page_range[0], page_range[1]))
        th_list.append(th)
    
    for th in th_list:
        th.start()
        
    for th in th_list:
        th.join()
        
    end_time = time.time()
    print("共使用時間1:", end_time - start_time)
    return end_time - start_time

簡單解釋一下，為了獲取運行的時間，我們定義了一個開始時間start_time 和一個結束時間end_time，運行時間也就是結束時間減去開始時間

然後定義的一個列表page_range_list也就是把頁碼分為三段，前面有提到過

之後又定義了一個列表th_list也就是存儲所有線程對象的列表，之後通過一個迴圈，生成了3個線程對象，分別對應著不同的頁碼範圍，把他們存入列表

然後在後面的迴圈中，分別執行th.start()，開啟線程，在後面，我們為了使這些非同步併發執行的線程都執行完畢後再退出函數，這裡使用了線程的join方法,等待各線程執行完畢

下麵就是最激動人心的時候了，對代碼進行測試

在這裡，我們寫下如下代碼

# coding=utf-8
__Author__ = "susmote"

from mining_threading import multiple_threads_test

if __name__ == "__main__":
    mt = multiple_threads_test()
    print('mt', mt)

為了使測試結果更加精確，我們進行三次實驗，取平均時間

第一次實驗

使用時間6.651

第二次實驗

使用時間6.876

第三次實驗

使用時間6.960

平均時間如下

6.829

下麵是單進程代碼

# coding=utf-8
__Author__ = "susmote"

import time
from mining_func import get_urls_in_pages


def sigle_test():
    start_time = time.time()
    get_urls_in_pages(1, 32)
    end_time = time.time()
    print("共使用時間 : ", end_time - start_time)
    return end_time - start_time

調用函數如下

# coding=utf-8
__Author__ = "susmote"

from single_mining import single_test


if __name__ == "__main__":
    st = single_test()
    print('st ', st)

在命令行下執行

第一次

10.138

第二次

10.290

第三次

10.087

平均花費時間

10.171

所以說，多線程的確能夠提高抓取的效率，註意，這是在數據比較少的情況進行的，如果數據量比較大的話，多線程的優勢就很明顯了

你可以自己去更改搜索關鍵詞，和頁碼，或是重新找一個網頁(抓取跟網速也有很大的關係)

附幾張抓取數據的圖