Python爬蟲入門教程 3-100 美空網數據爬取

来源:https://www.cnblogs.com/happymeng/archive/2018/12/14/10117457.html
-Advertisement-
Play Games

簡介 從今天開始,我們嘗試用2篇博客的內容量,搞定一個網站叫做“美空網”網址為:http://www.moko.cc/, 這個網站我分析了一下,我們要爬取的圖片在 下麵這個網址 http://www.moko.cc/post/1302075.html 然後在去分析一下,我需要找到一個圖片列表頁面是最 ...


美空網數據----簡介

從今天開始,我們嘗試用2篇博客的內容量,搞定一個網站叫做“美空網”網址為:http://www.moko.cc/, 這個網站我分析了一下,我們要爬取的圖片在 下麵這個網址

http://www.moko.cc/post/1302075.html

然後在去分析一下,我需要找到一個圖片列表頁面是最好的,作為一個勤勞的爬蟲coder,我找到了這個頁面

http://www.moko.cc/post/da39db43246047c79dcaef44c201492d/list.html

列表頁面被我找到了,貌似沒有分頁,這就簡單多了,但是剛想要爬,就翻車了,我發現一個嚴重的問題。

http://www.moko.cc/post/==da39db43246047c79dcaef44c201492d==/list.html

我要做的是一個自動化的爬蟲,但是我發現,出問題了,上面那個黃色背景的位置是啥?

ID,昵稱,個性首頁,這個必須要搞定。

我接下來隨機的找了一些圖片列表頁,試圖找到規律到底是啥?

  1. http://www.moko.cc/post/978c74a0375f4edca114e87b0a45a0b5/list.html
  2. http://www.moko.cc/post/jundayi/list.html
  3. http://www.moko.cc/post/slavik/list.html
  4. ......

沒什麼問題,發現規律了

http://www.moko.cc/post/==個性昵稱(中文昵稱是一個加密的串)==/list.html

這就有點意思了,我要是能找到儘量多的昵稱,不就能拼接出來我想要得所有地址了嗎

開乾!!!

手段,全站亂點,找入口,找切入點,找是否有API

.... .... 結果沒找著

下麵的一些備選方案

趴這個頁面,發現只有 20頁 http://www.moko.cc/channels/post/23/1.html

每頁48個模特,20頁。那麼也才960人啊,完全覆蓋不到儘可能多的用戶。

接著又找到

http://www.moko.cc/catalog/index.html 這個頁面

確認了一下眼神,以為發現問題了,結果

這裡寫圖片描述

哎呀,還麽有許可權,誰有許可權,可以跟我交流一下,一時激動,差點去下載他們的APP,然後進行抓包去。

上面兩條路,都不好弄,接下來繼續找路子。

無意中,我看到了一絲曙光

這裡寫圖片描述

關註名單,點進去

這裡寫圖片描述

哈哈哈,OK了,這不就是,我要找到的東西嗎?

不多說了,爬蟲走起,測試一下他是否有反扒機制。

我找到了一個關註的人比較多的頁面,1500多個人

http://www.moko.cc/subscribe/chenhaoalex/1.html

然後又是一波分析操作

美空網數據----爬蟲數據存儲

確定了爬蟲的目標,接下來,我做了兩件事情,看一下,是否對你也有幫助

  1. 確定數據存儲在哪裡?最後我選擇了MongoDB
  2. 用正則表達式去分析網頁數據

對此,我們需要安裝一下MongoDB,安裝的辦法肯定是官網教程啦!

https://docs.mongodb.com/master/tutorial/install-mongodb-on-red-hat/

如果官方文檔沒有幫助你安裝成功。

那麼我推薦下麵這篇博客

https://www.cnblogs.com/hackyo/p/7967170.html

安裝MongoDB出現如下結果

這裡寫圖片描述

恭喜你安裝成功了。

接下來,你要學習的是 關於mongodb用戶許可權的管理

http://www.cnblogs.com/shiyiwen/p/5552750.html

mongodb索引的創建

https://blog.csdn.net/salmonellavaccine/article/details/53907535

別問為啥我不重新寫一遍,懶唄~~~ 況且這些資料太多了,互聯網大把大把的。

一些我經常用的mongdb的命令


鏈接 mongo --port <埠號>

選擇資料庫 use admin 

展示當前資料庫  db 

當前資料庫授權  db.auth("用戶名","密碼")

查看資料庫  show dbs

查看資料庫中的列名  show collections 

創建列  db.createCollection("列名")

創建索引 db.col.ensureIndex({"列名字":1},{"unique":true})

展示所有索引 db.col.getIndexes()

刪除索引 db.col.dropIndex("索引名字")  

查找數據  db.列名.find()

查詢數據總條數  db.列名.find().count() 

上面基本是我最常用的了,我們下麵實際操作一把。

美空網數據----用Python鏈接MongoDB

使用 pip3 安裝pymongo庫

使用pymongo模塊連接mongoDB資料庫

一些準備工作

  1. 創建dm資料庫

    鏈接上mongodb 在終端使用命令 mongo --port 21111

[linuxboy@localhost ~]$ mongo --port 21111
MongoDB shell version v3.6.5
connecting to: mongodb://127.0.0.1:21111/
MongoDB server version: 3.6.5
> 

  1. 配置用戶許可權:接著上面輸入命令 show dbs 查看許可權

這裡寫圖片描述

許可權不足

  1. 創建管理用戶
db.createUser({user: "userAdmin",pwd: "123456", roles: [ { role: "userAdminAnyDatabase", db: "admin" } ] } )
  1. 授權用戶
db.auth("userAdmin","123456")
  1. 查看許可權
> db.auth("userAdmin","123456")
1
> show dbs
admin   0.000GB
config  0.000GB
local   0.000GB
moko    0.013GB
test    0.000GB
> 
  1. 接下來創建 dm資料庫<在這之前還需要創建一個讀寫用戶>
> use dm
switched to db dm
> db
dm
> db.createUser({user: "dba",pwd: "dba", roles: [ { role: "readWrite", db: "dm" } ] } )
Successfully added user: {
    "user" : "dba",
    "roles" : [
        {
            "role" : "readWrite",
            "db" : "dm"
        }
    ]
}
> 

  1. 重新授權
db.auth("dba","dba")
  1. 創建一列數據
> db.createCollection("demo")
{ "ok" : 1 }
> db.collections
dm.collections
> show collections
demo
> 

  1. Python實現插入操作
import pymongo as pm  #確保你已經安裝過pymongo了

 # 獲取連接
client = pm.MongoClient('localhost', 21111)  # 埠號是數值型

# 連接目標資料庫
db = client.dm

# 資料庫用戶驗證
db.authenticate("dba", "dba")
post = {
        "id": "111111",
        "level": "MVP",
        "real":1,
        "profile": '111',
        'thumb':'2222',
        'nikename':'222',
        'follows':20
}

db.col.insert_one(post) # 插入單個文檔

# 列印集合第1條記錄
print (db.col.find_one())
  1. 編譯執行
[linuxboy@bogon moocspider]$ python3 mongo.py
{'_id': ObjectId('5b15033cc3666e1e28ae5582'), 'id': '111111', 'level': 'MVP', 'real': 1, 'profile': '111', 'thumb': '2222', 'nikename': '222', 'follows': 20}
[linuxboy@bogon moocspider]$ 


好了,我們到現在為止,實現了mongodb的插入問題。

美空網數據----用Python 爬取關註對象

首先,我需要創造一個不斷抓取鏈接的類

這個類做的事情,就是分析

http://www.moko.cc/subscribe/chenhaoalex/1.html

這個頁面,總共有多少頁,然後生成鏈接

這裡寫圖片描述

抓取頁面中的總頁數為77

這裡寫圖片描述

正則表達式如下

onfocus=\"this\.blur\(\)\">(\d*?)<

在這裡,由所有的分頁都一樣,所以,我匹配了全部的頁碼,然後計算了數組中的最大值

#獲取頁碼數組
pages = re.findall(r'onfocus=\"this\.blur\(\)\">(\d*?)<',content,re.S)   #獲取總頁數
page_size = 1
if pages:  #如果數組不為空
    page_size = int(max(pages))   #獲取最大頁數
                    

接下來就是我們要搞定的生產者編碼階段了,我們需要打造一個不斷獲取連接的爬蟲

簡單的說就是

我們需要一個爬蟲,不斷的去爬取

http://www.moko.cc/subscribe/chenhaoalex/1.html 這個頁面中所有的用戶,並且還要爬取到總頁數。

比如查看上述頁面中,我們要獲取的關鍵點如下

這裡寫圖片描述

通過這個頁面,我們要得到,這樣子的一個數組,註意下麵數組中有個位置【我用爬蟲爬到的】這個就是關鍵的地方了

all_urls = [
    "http://www.moko.cc/subscribe/chenhaoalex/1.html",
    "http://www.moko.cc/subscribe/chenhaoalex/2.html",
    "http://www.moko.cc/subscribe/chenhaoalex/3.html",
    "http://www.moko.cc/subscribe/chenhaoalex/4.html",
    ......
    "http://www.moko.cc/subscribe/dde760d5dd6a4413aacb91d1b1d76721/1.html"
    "http://www.moko.cc/subscribe/3cc82db2231a4449aaa97ed8016b917a/1.html"
    "http://www.moko.cc/subscribe/d45c1e3069c24152abdc41c1fb342b8f/1.html"
    "http://www.moko.cc/subscribe/【我用爬蟲爬到的】/1.html"
    
    
    ]

引入必備模塊

# -*- coding: UTF-8 -*-
import requests   #網路請求模塊
import random     #隨機模塊
import re         #正則表達式模塊
import time       #時間模塊
import threading  #線程模塊
import pymongo as pm   #mongodb模塊

接下來,我們需要準備一個通用函數模擬UserAgent做一個簡單的反爬處理

class Config():
    def getHeaders(self):
        user_agent_list = [ \
            "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/22.0.1207.1 Safari/537.1" \
            "Mozilla/5.0 (X11; CrOS i686 2268.111.0) AppleWebKit/536.11 (KHTML, like Gecko) Chrome/20.0.1132.57 Safari/536.11", \
            "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.6 (KHTML, like Gecko) Chrome/20.0.1092.0 Safari/536.6", \
            "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.6 (KHTML, like Gecko) Chrome/20.0.1090.0 Safari/536.6", \
            "Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/19.77.34.5 Safari/537.1", \
            "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/536.5 (KHTML, like Gecko) Chrome/19.0.1084.9 Safari/536.5", \
            "Mozilla/5.0 (Windows NT 6.0) AppleWebKit/536.5 (KHTML, like Gecko) Chrome/19.0.1084.36 Safari/536.5", \
            "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3", \
            "Mozilla/5.0 (Windows NT 5.1) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3", \
            "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_8_0) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3", \
            "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1062.0 Safari/536.3", \
            "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1062.0 Safari/536.3", \
            "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3", \
            "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3", \
            "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3", \
            "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.0 Safari/536.3", \
            "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/535.24 (KHTML, like Gecko) Chrome/19.0.1055.1 Safari/535.24", \
            "Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/535.24 (KHTML, like Gecko) Chrome/19.0.1055.1 Safari/535.24"
        ]
        UserAgent=random.choice(user_agent_list)
        headers = {'User-Agent': UserAgent}
        return headers

編寫生產者的類和核心代碼,Producer繼承threading.Thread

#生產者
class Producer(threading.Thread):
    
    def run(self):
        print("線程啟動...")
        headers = Config().getHeaders()

if __name__ == "__main__":
    p = Producer()
    p.start()

測試運行,一下,看是否可以啟動

[linuxboy@bogon moocspider]$ python3 demo.py
線程啟動...
{'User-Agent': 'Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/535.24 (KHTML, like Gecko) Chrome/19.0.1055.1 Safari/535.24'}
[linuxboy@bogon moocspider]$ 

如果上面的代碼沒有問題,接下來就是我們爬蟲代碼部分了,為了方便多線程之間的調用,我們還是創建一個共用變數在N個線程之間調用

# -*- coding: UTF-8 -*-
import requests
import random
import re
import time
import threading
import pymongo as pm

 # 獲取連接
client = pm.MongoClient('localhost', 21111)  # 埠號是數值型

# 連接目標資料庫
db = client.moko

# 資料庫用戶驗證
db.authenticate("moko", "moko")

urls = ["http://www.moko.cc/subscribe/chenhaoalex/1.html"]
index = 0   #索引
g_lock = threading.Lock()  #初始化一個鎖  



#生產者
class Producer(threading.Thread):
    
    def run(self):
        print("線程啟動...")
        headers = Config().getHeaders()
        print(headers)
        global urls
        global index 
        while True:
            g_lock.acquire() 
            if len(urls)==0:
                g_lock.release() 
                continue
            page_url = urls.pop()
            g_lock.release() #使用完成之後及時把鎖給釋放,方便其他線程使用
            response = ""
            try:
                response = requests.get(page_url,headers=headers,timeout=5)
                
            except Exception as http:
                print("生產者異常")
                print(http)
                continue       
            content = response.text 
            
            rc = re.compile(r'<a class=\"imgBorder\" href=\"\/(.*?)\" hidefocus=\"true\">')
            follows = rc.findall(content)
            print(follows)
            fo_url = []
            threading_links_2 = []
            for u in follows:   
                this_url = "http://www.moko.cc/subscribe/%s/1.html" % u 
                g_lock.acquire()
                index += 1 
                g_lock.release()
                fo_url.append({"index":index,"link":this_url})
                threading_links_2.append(this_url)
           
            g_lock.acquire()
            urls += threading_links_2
            g_lock.release()
            print(fo_url)
            
            try:
                db.text.insert_many(fo_url,ordered=False )
            except:
                continue

if __name__ == "__main__":
    p = Producer()
    p.start()





上面代碼除了基本操作以外,我做了一些細小的處理

現在說明如下

fo_url.append({"index":index,"link":this_url})

這部分代碼,是為了消費者使用時候,方便進行查找並且刪除操作而特意改造的,增加了一個欄位index作為標識

第二個部分,插入數據的時候,我進行了批量的操作使用的是insert_many函數,並且關鍵的地方,我增加了一個ordered=False的操作,這個地方大家可以自行研究一下,我的目的是去掉重覆數據,預設情況下insert_many函數如果碰到數據重覆,並且在mongodb中創建了索引==創建索引的辦法,大家自行翻閱文章上面==,那麼是無法插入的,但是這樣子會插入一部分,只把重覆的地方略過,非常方便。

關於pymongo的使用,大家可以參考官網手冊

這個是 pymongo的官方教程

http://api.mongodb.com/python/current/api/pymongo/collection.html?highlight=insert_many#pymongo.collection.Collection.insert_many

MongoDB的手冊大家也可以參考

https://docs.mongodb.com/manual/reference/method/db.collection.insertMany/

 db.text.insert_many(fo_url,ordered=False )

我們鏈接上MongoDB資料庫,查詢一下我們剛剛插入的數據


> show collections
col
links
text
> db.text
moko.text
> db.text.find()
{ "_id" : ObjectId("5b1789e0c3666e642364a70b"), "index" : 1, "link" : "http://www.moko.cc/subscribe/dde760d5dd6a4413aacb91d1b1d76721/1.html" }
{ "_id" : ObjectId("5b1789e0c3666e642364a70c"), "index" : 2, "link" : "http://www.moko.cc/subscribe/3cc82db2231a4449aaa97ed8016b917a/1.html" }
.......
{ "_id" : ObjectId("5b1789e0c3666e642364a71e"), "index" : 20, "link" : "http://www.moko.cc/subscribe/8c1e4c738e654aad85903572f9090adb/1.html" }
Type "it" for more

其實上面代碼,有一個非常嚴重的BUG,就是當我們實際操作的時候,發現,我們每次獲取到的都是我們使用this_url = "http://www.moko.cc/subscribe/%s/1.html" % u 進行拼接的結果。

也就是說,我們獲取到的永遠都是第1頁。這個按照我們之前設計的就不符合邏輯了,

我們還要獲取到分頁的內容,那麼這個地方需要做一個簡單的判斷,就是下麵的邏輯了。

==如果完整代碼,大家不知道如何觀看,可以直接翻閱到文章底部,有對應的github鏈接==

#如果是第一頁,那麼需要判斷一下
#print(page_url)
is_home =re.search(r'(\d*?)\.html',page_url).group(1)
if is_home == str(1):
    pages = re.findall(r'onfocus=\"this\.blur\(\)\">(\d*?)<',content,re.S)   #獲取總頁數
    page_size = 1
    if pages:
        page_size = int(max(pages))   #獲取最大頁數
        if page_size > 1:   #如果最大頁數大於1,那麼獲取所有的頁面
            url_arr = []
            threading_links_1 = []
            for page in range(2,page_size+1):
                url =  re.sub(r'(\d*?)\.html',str(page)+".html",page_url)  
                threading_links_1.append(url)
                g_lock.acquire()
                index += 1 
                g_lock.release()

                url_arr.append({ "index":index, "link": url})

            g_lock.acquire()
            urls += threading_links_1  #  URL數據添加
            g_lock.release()
            try:
                db.text.insert_many(url_arr,ordered=False )
            except Exception as e:
                print("資料庫輸入異常")
                print (e)
                continue
            
        else:
            pass
    else:
            pass

截止到現在為止,其實你已經實現了鏈接的生產者了 。

我們在MongoDB中生成了一堆鏈接,接下來就是使用階段了。

使用起來也是非常簡單。

我先給大家看一個比較複雜的正則表達式爬蟲寫的好不好,正則表達式站很重要的比例哦~

divEditOperate_(?P<ID>\d*)[\"] .*>[\s\S]*?<p class=\"state\">.*?(?P<級別>\w*P).*</span></span>(?P<是否認證><br/>)?.*?</p>[\s\S]*?<div class=\"info clearfix\">[\s\S]*?<a class=\"imgBorder\" href=\"\/(?P<主頁>.*?)\" hidefocus=\"true\">[\s\S]*?<img .*?src=\"(?P<頭像>.*?)\".*?alt=\".*?\" title=\"(?P<昵稱>.*?)\" />[\s\S]*?<p class=\"font12 lesserColor\">(?P<地點>.*?)&nbsp.*?<span class=\"font12 mainColor\">(?P<粉絲數目>\d*?)</span>

上面這個正則表達式,就是我為

http://www.moko.cc/subscribe/chenhaoalex/1.html 

這個頁面專門準備的。

這樣子,我就可以直接獲取到我想要的所有數據了。

這裡寫圖片描述

消費者的代碼如下

get_index = 0
#消費者類
class Consumer(threading.Thread):
    
    def run(self):
        headers = Config().getHeaders()

        global get_index 
        while True:
            
            g_lock.acquire() 
            get_index += 1
            g_lock.release()
            #從剛纔數據存儲的列裡面獲取一條數據,這裡用到find_one_and_delete方法
            #get_index 需要聲明成全局的變數
            link = db.links.find_one_and_delete({"index":get_index})
            page_url = ""
            if link:
                page_url = link["link"]
                print(page_url+">>>網頁分析中...")
            else:
                continue

            response = ""
            try:
                response = requests.get(page_url,headers=headers,timeout=5)
                
            except Exception as http:
                print("消費者有異常")
                print(http)
                continue
            
            content = response.text 
            rc = re.compile(r'divEditOperate_(?P<ID>\d*)[\"] .*>[\s\S]*?<p class=\"state\">.*?(?P<級別>\w*P).*</span></span>(?P<是否認證><br/>)?.*?</p>[\s\S]*?<div class=\"info clearfix\">[\s\S]*?<a class=\"imgBorder\" href=\"\/(?P<主頁>.*?)\" hidefocus=\"true\">[\s\S]*?<img .*?src=\"(?P<頭像>.*?)\".*?alt=\".*?\" title=\"(?P<昵稱>.*?)\" />[\s\S]*?<p class=\"font12 lesserColor\">(?P<地點>.*?)&nbsp.*?<span class=\"font12 mainColor\">(?P<粉絲數目>\d*?)</span>')
            user_info = rc.findall(content)
            print(">>>>>>>>>>>>>>>>>>>>")
            users = []
            for user in user_info:
                post = {
                    "id": user[0],
                    "level": user[1],
                    "real":user[2],
                    "profile": user[3],
                    'thumb':user[4],
                    'nikename':user[5],
                    'address':user[6],
                    'follows':user[7]
                }

                users.append(post)
            print(users)
           
            try:
                db.mkusers.insert_many(users,ordered=False )
            except Exception as e:
                print("資料庫輸入異常")
                print (e)
                continue

            time.sleep(1)

            print("<<<<<<<<<<<<<<<<<<<<")

當你使用python3 demo.py 編譯demo之後,屏幕滾動如下結果,那麼你成功了。

接下來就可以去資料庫查閱數據去了。

[linuxboy@bogon moocspider]$ python3 demo.py
線程啟動...
{'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3'}
http://www.moko.cc/subscribe/chenhaoalex/2.html>>>網頁分析中...
['dde760d5dd6a4413aacb91d1b1d76721', '3cc82db2231a4449aaa97ed8016b917a', 'a1835464ad874eec92ccbb31841a7590', 'c9ba6a47a246494398d4e26c1e0b7e54', '902fe175e668417788a4fb5d4de7ab99', 'dcb8f11265594f17b821a6d90caf96a7', '7ea0a96621eb4ed99c9c642936559c94', 'd45c1e3069c24152abdc41c1fb342b8f', 'chenyiqiu', '798522844', 'MEERILLES', 'ddfd9e1f7dca4cffb2430caebd2494f8', 'd19cbd37c87e400e9da42e159560649b', 'ac07e7fbfde14922bb1d0246b9e4374d', '05abc72ac7bb4f738f73028fed17ac23', 'hanzhuoer', 'e12e15aaee654b8aa9f528215bc3294c', '3b6d8dc6fd814789bd484f393b5c9fa8', '83256b93a2f94f449ab75c730cb80a7b', '8c1e4c738e654aad85903572f9090adb']
[{'index': 77, 'link': 'http://www.moko.cc/subscribe/dde760d5dd6a4413aacb91d1b1d76721/1.html'}, {'index': 78, 'link': 'http://www.moko.cc/subscribe/3cc82db2231a4449aaa97ed8016b917a/1.html'}, {'index': 79, 'link': 'http://www.moko.cc/subscribe/a1835464ad874eec92ccbb31841a7590/1.html'}, {'index': 80, 'link': 'http://www.moko.cc/subscribe/c9ba6a47a246494398d4e26c1e0b7e54/1.html'}, {]
>>>>>>>>>>>>>>>>>>>>
[{'id': '3533155', 'level': 'MP', 'real': '', 'profile': 'b1a7e76455cc4ca4b81ed800ab68b308', 'thumb': 'http://img.mb.moko.cc/2018-02-17/d7db42d4-7f34-46d2-a760-c88eb90d6e0d.jpg', 'nikename': '模特九九', 'address': '大連', 'follows': '10'}, {'id': '3189865', 'level': 'VIP', 'real': '', 'profile': 'cfdf1482a9034f65a60bc6a1cf8d6a02', 'thumb': 'http://img.mb.moko.cc/2016-09-30/98c1ddd3-f9a8-4a15-a106-5d664fa7b558.jpg', 'nikename': '何應77', 'address': '杭州', 'follows': '219'}, {'id': '14886', 'level': 'VIP', 'real': '<br/>', 'profile': 'cndp', 'thumb': 'http://img2.moko.cc/users/0/49/14886/logo/img2_des_x3_10100286.jpg', 'nikename': '多拍PGirl', 'address': '北京', 'follows': '2331'}, {'id': '3539257', 'level': 'MP', 'real': '<br/>', 'profile': '605c8fb2824049aa841f21858a7fd142', 'thumb': 'http://img.mb.moko.cc/2018-02':

記得處理數據的時候去掉重覆值

>show collections
col
links
mkusers
text
> db.mkusers.find()
{ "_id" : ObjectId("5b17931ec3666e6eff3953bc"), "id" : "3533155", "level" : "MP", "real" : "", "profile" : "b1a7e76455cc4ca4b81ed800ab68b308", "thumb" : "http://img.mb.moko.cc/2018-02-17/d7db42d4-7f34-46d2-a760-c88eb90d6e0d.jpg", "nikename" : "模特九九", "address" : "大連", "follows" : "10" }
{ "_id" : ObjectId("5b17931ec3666e6eff3953bd"), "id" : "3189865", "level" : "VIP", "real" : "", "profile" : "cfdf1482a9034f65a60bc6a1cf8d6a02", "thumb" : "http://img.mb.moko.cc/2016-09-30/98c1ddd3-f9a8-4a15-a106-5d664fa7b558.jpg", "nikename" : "何應77", "address" : "杭州", "follows" : "219" }
{ "_id" : ObjectId("5b17931ec3666e6eff3953be"), "id" : "14886", "level" : "VIP", "real" : "<br/>", "profile" : "cndp", "thumb" : "http://img2.moko.cc/users/0/49/14886/logo/img2_des_x3_10100286.jpg", "nikename" : "多拍PGirl", "address" : "北京", "follows" : "2331" }
{ "_

最後一步,如果你想要把效率提高,修改線程就好了

if __name__ == "__main__":

    for i in range(5):
        p = Producer()
        p.start()

    for i in range(7):
        c = Consumer()
        c.start()

經過3個小時的爬取,我獲取了70000多美空的用戶ID,原則上,你可以獲取到所有的被關註者的,不過這些數據對我們測試來說,已經足夠使用。

代碼github地址: https://github.com/wangdezhen/mokospider.git


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 來源:http://www.fhadmin.org/webnewsdetail3.html 前臺:支持(5+1[時尚單頁風格])六套模版,可以在後臺切換 官網:www.fhadmin.org 系統介紹: 1.網站後臺採用主流的 SSM 框架 jsp JSTL,網站後臺採用freemaker靜態化模版 ...
  • 作者按:《每天一個設計模式》旨在初步領會設計模式的精髓,目前採用 和`python`兩種語言實現。誠然,每種設計模式都有多種實現方式,但此小冊只記錄最直截了當的實現方式 :) 原文地址是: "《每天一個設計模式之命令模式》" 歡迎關註個人技術博客: "godbmw.com" 。每周 1 篇原創技術分 ...
  • 迭代器模式,Iterator,java集合框架內置的一種模式,本文介紹了迭代器模式的起源含義,設計意圖,以及結構形態,並且給出了Java版本的迭代器模式的實現,迭代器模式分為內部迭代和外部迭代,Java集合框架使用的這種形式是比較好的一種方式。 ...
  • 一. Python程式中, 文件的處理步驟是什麼? 二. 文本打開時設置的模式有哪些? 分別代表什麼意思? 三. os模塊中提供的常用文件操作? 四. 代碼實現: 大文件拷貝操作 註意: 不能一次性讀取大文件內容, 容易造成記憶體峰值 五. 代碼實現: 假設一個文件夾中有很多不同格式的文件, 要求: ...
  • 126.Struts2中的攔截器有什麼用?列舉框架提供的攔截器名稱? 127.Struts2有哪些優點? 128.ActionContext和ValueStack什麼時候創建?是否是線程安全的? 129.一個請求在Struts2框架中的處理大概分為幾個步驟? 130.介紹一下Struts的Actio ...
  • activemq配置jmx 配置activemq中的jmx可以用於監控activemq信息。 activemq.xml配置 修改broker屬性 添加節點managementContext <managementContext> <managementContext createConnector= ...
  • 更新Composer依賴報錯處理 Fatal error: Declaration of Fxp\Composer\AssetPlugin\Repository\AbstractAssetsRe pository::search() must be compatible with Composer\... ...
  • 在 WEB 項目中返回 JSON 數據是常見的交互形式,在 Spring Boot 中這一切都變得十分簡單。So easy!!! 你所需具備的基礎 "什麼是 Spring Boot?" "Spring Boot 核心配置文件詳解" "Spring Boot 開啟的 2 種方式" "Spring Bo ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...