簡介 從今天開始,我們嘗試用2篇博客的內容量,搞定一個網站叫做“美空網”網址為:http://www.moko.cc/, 這個網站我分析了一下,我們要爬取的圖片在 下麵這個網址 http://www.moko.cc/post/1302075.html 然後在去分析一下,我需要找到一個圖片列表頁面是最 ...
美空網數據----簡介
從今天開始,我們嘗試用2篇博客的內容量,搞定一個網站叫做“美空網”網址為:http://www.moko.cc/, 這個網站我分析了一下,我們要爬取的圖片在 下麵這個網址
http://www.moko.cc/post/1302075.html
然後在去分析一下,我需要找到一個圖片列表頁面是最好的,作為一個勤勞的爬蟲coder,我找到了這個頁面
http://www.moko.cc/post/da39db43246047c79dcaef44c201492d/list.html
列表頁面被我找到了,貌似沒有分頁,這就簡單多了,但是剛想要爬,就翻車了,我發現一個嚴重的問題。
http://www.moko.cc/post/==da39db43246047c79dcaef44c201492d==/list.html
我要做的是一個自動化的爬蟲,但是我發現,出問題了,上面那個黃色背景的位置是啥?
ID,昵稱,個性首頁,這個必須要搞定。
我接下來隨機的找了一些圖片列表頁,試圖找到規律到底是啥?
- http://www.moko.cc/post/978c74a0375f4edca114e87b0a45a0b5/list.html
- http://www.moko.cc/post/jundayi/list.html
- http://www.moko.cc/post/slavik/list.html
- ......
沒什麼問題,發現規律了
http://www.moko.cc/post/==個性昵稱(中文昵稱是一個加密的串)==/list.html
這就有點意思了,我要是能找到儘量多的昵稱,不就能拼接出來我想要得所有地址了嗎
開乾!!!
手段,全站亂點,找入口,找切入點,找是否有API
.... .... 結果沒找著
下麵的一些備選方案
趴這個頁面,發現只有 20頁 http://www.moko.cc/channels/post/23/1.html
每頁48個模特,20頁。那麼也才960人啊,完全覆蓋不到儘可能多的用戶。
接著又找到
http://www.moko.cc/catalog/index.html 這個頁面
確認了一下眼神,以為發現問題了,結果
哎呀,還麽有許可權,誰有許可權,可以跟我交流一下,一時激動,差點去下載他們的APP,然後進行抓包去。
上面兩條路,都不好弄,接下來繼續找路子。
無意中,我看到了一絲曙光
關註名單,點進去
哈哈哈,OK了,這不就是,我要找到的東西嗎?
不多說了,爬蟲走起,測試一下他是否有反扒機制。
我找到了一個關註的人比較多的頁面,1500多個人
http://www.moko.cc/subscribe/chenhaoalex/1.html
然後又是一波分析操作
美空網數據----爬蟲數據存儲
確定了爬蟲的目標,接下來,我做了兩件事情,看一下,是否對你也有幫助
- 確定數據存儲在哪裡?最後我選擇了MongoDB
- 用正則表達式去分析網頁數據
對此,我們需要安裝一下MongoDB,安裝的辦法肯定是官網教程啦!
https://docs.mongodb.com/master/tutorial/install-mongodb-on-red-hat/
如果官方文檔沒有幫助你安裝成功。
那麼我推薦下麵這篇博客
https://www.cnblogs.com/hackyo/p/7967170.html
安裝MongoDB出現如下結果
恭喜你安裝成功了。
接下來,你要學習的是 關於mongodb用戶許可權的管理
http://www.cnblogs.com/shiyiwen/p/5552750.html
mongodb索引的創建
https://blog.csdn.net/salmonellavaccine/article/details/53907535
別問為啥我不重新寫一遍,懶唄~~~ 況且這些資料太多了,互聯網大把大把的。
一些我經常用的mongdb的命令
鏈接 mongo --port <埠號>
選擇資料庫 use admin
展示當前資料庫 db
當前資料庫授權 db.auth("用戶名","密碼")
查看資料庫 show dbs
查看資料庫中的列名 show collections
創建列 db.createCollection("列名")
創建索引 db.col.ensureIndex({"列名字":1},{"unique":true})
展示所有索引 db.col.getIndexes()
刪除索引 db.col.dropIndex("索引名字")
查找數據 db.列名.find()
查詢數據總條數 db.列名.find().count()
上面基本是我最常用的了,我們下麵實際操作一把。
美空網數據----用Python鏈接MongoDB
使用 pip3 安裝pymongo庫
使用pymongo模塊連接mongoDB資料庫
一些準備工作
創建dm資料庫
鏈接上mongodb 在終端使用命令 mongo --port 21111
[linuxboy@localhost ~]$ mongo --port 21111
MongoDB shell version v3.6.5
connecting to: mongodb://127.0.0.1:21111/
MongoDB server version: 3.6.5
>
- 配置用戶許可權:接著上面輸入命令 show dbs 查看許可權
許可權不足
- 創建管理用戶
db.createUser({user: "userAdmin",pwd: "123456", roles: [ { role: "userAdminAnyDatabase", db: "admin" } ] } )
- 授權用戶
db.auth("userAdmin","123456")
- 查看許可權
> db.auth("userAdmin","123456")
1
> show dbs
admin 0.000GB
config 0.000GB
local 0.000GB
moko 0.013GB
test 0.000GB
>
- 接下來創建 dm資料庫<在這之前還需要創建一個讀寫用戶>
> use dm
switched to db dm
> db
dm
> db.createUser({user: "dba",pwd: "dba", roles: [ { role: "readWrite", db: "dm" } ] } )
Successfully added user: {
"user" : "dba",
"roles" : [
{
"role" : "readWrite",
"db" : "dm"
}
]
}
>
- 重新授權
db.auth("dba","dba")
- 創建一列數據
> db.createCollection("demo")
{ "ok" : 1 }
> db.collections
dm.collections
> show collections
demo
>
- Python實現插入操作
import pymongo as pm #確保你已經安裝過pymongo了
# 獲取連接
client = pm.MongoClient('localhost', 21111) # 埠號是數值型
# 連接目標資料庫
db = client.dm
# 資料庫用戶驗證
db.authenticate("dba", "dba")
post = {
"id": "111111",
"level": "MVP",
"real":1,
"profile": '111',
'thumb':'2222',
'nikename':'222',
'follows':20
}
db.col.insert_one(post) # 插入單個文檔
# 列印集合第1條記錄
print (db.col.find_one())
- 編譯執行
[linuxboy@bogon moocspider]$ python3 mongo.py
{'_id': ObjectId('5b15033cc3666e1e28ae5582'), 'id': '111111', 'level': 'MVP', 'real': 1, 'profile': '111', 'thumb': '2222', 'nikename': '222', 'follows': 20}
[linuxboy@bogon moocspider]$
好了,我們到現在為止,實現了mongodb的插入問題。
美空網數據----用Python 爬取關註對象
首先,我需要創造一個不斷抓取鏈接的類
這個類做的事情,就是分析
http://www.moko.cc/subscribe/chenhaoalex/1.html
這個頁面,總共有多少頁,然後生成鏈接
抓取頁面中的總頁數為77
正則表達式如下
onfocus=\"this\.blur\(\)\">(\d*?)<
在這裡,由所有的分頁都一樣,所以,我匹配了全部的頁碼,然後計算了數組中的最大值
#獲取頁碼數組
pages = re.findall(r'onfocus=\"this\.blur\(\)\">(\d*?)<',content,re.S) #獲取總頁數
page_size = 1
if pages: #如果數組不為空
page_size = int(max(pages)) #獲取最大頁數
接下來就是我們要搞定的生產者
編碼階段了,我們需要打造一個不斷獲取連接的爬蟲
簡單的說就是
我們需要一個爬蟲,不斷的去爬取
http://www.moko.cc/subscribe/chenhaoalex/1.html 這個頁面中所有的用戶,並且還要爬取到總頁數。
比如查看上述頁面中,我們要獲取的關鍵點如下
通過這個頁面,我們要得到,這樣子的一個數組,註意下麵數組中有個位置【我用爬蟲爬到的】這個就是關鍵的地方了
all_urls = [
"http://www.moko.cc/subscribe/chenhaoalex/1.html",
"http://www.moko.cc/subscribe/chenhaoalex/2.html",
"http://www.moko.cc/subscribe/chenhaoalex/3.html",
"http://www.moko.cc/subscribe/chenhaoalex/4.html",
......
"http://www.moko.cc/subscribe/dde760d5dd6a4413aacb91d1b1d76721/1.html"
"http://www.moko.cc/subscribe/3cc82db2231a4449aaa97ed8016b917a/1.html"
"http://www.moko.cc/subscribe/d45c1e3069c24152abdc41c1fb342b8f/1.html"
"http://www.moko.cc/subscribe/【我用爬蟲爬到的】/1.html"
]
引入必備模塊
# -*- coding: UTF-8 -*-
import requests #網路請求模塊
import random #隨機模塊
import re #正則表達式模塊
import time #時間模塊
import threading #線程模塊
import pymongo as pm #mongodb模塊
接下來,我們需要準備一個通用函數模擬UserAgent
做一個簡單的反爬處理
class Config():
def getHeaders(self):
user_agent_list = [ \
"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/22.0.1207.1 Safari/537.1" \
"Mozilla/5.0 (X11; CrOS i686 2268.111.0) AppleWebKit/536.11 (KHTML, like Gecko) Chrome/20.0.1132.57 Safari/536.11", \
"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.6 (KHTML, like Gecko) Chrome/20.0.1092.0 Safari/536.6", \
"Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.6 (KHTML, like Gecko) Chrome/20.0.1090.0 Safari/536.6", \
"Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/19.77.34.5 Safari/537.1", \
"Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/536.5 (KHTML, like Gecko) Chrome/19.0.1084.9 Safari/536.5", \
"Mozilla/5.0 (Windows NT 6.0) AppleWebKit/536.5 (KHTML, like Gecko) Chrome/19.0.1084.36 Safari/536.5", \
"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3", \
"Mozilla/5.0 (Windows NT 5.1) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3", \
"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_8_0) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3", \
"Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1062.0 Safari/536.3", \
"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1062.0 Safari/536.3", \
"Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3", \
"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3", \
"Mozilla/5.0 (Windows NT 6.1) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3", \
"Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.0 Safari/536.3", \
"Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/535.24 (KHTML, like Gecko) Chrome/19.0.1055.1 Safari/535.24", \
"Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/535.24 (KHTML, like Gecko) Chrome/19.0.1055.1 Safari/535.24"
]
UserAgent=random.choice(user_agent_list)
headers = {'User-Agent': UserAgent}
return headers
編寫生產者的類和核心代碼,Producer
繼承threading.Thread
#生產者
class Producer(threading.Thread):
def run(self):
print("線程啟動...")
headers = Config().getHeaders()
if __name__ == "__main__":
p = Producer()
p.start()
測試運行,一下,看是否可以啟動
[linuxboy@bogon moocspider]$ python3 demo.py
線程啟動...
{'User-Agent': 'Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/535.24 (KHTML, like Gecko) Chrome/19.0.1055.1 Safari/535.24'}
[linuxboy@bogon moocspider]$
如果上面的代碼沒有問題,接下來就是我們爬蟲代碼部分了,為了方便多線程之間的調用,我們還是創建一個共用變數在N個線程之間調用
# -*- coding: UTF-8 -*-
import requests
import random
import re
import time
import threading
import pymongo as pm
# 獲取連接
client = pm.MongoClient('localhost', 21111) # 埠號是數值型
# 連接目標資料庫
db = client.moko
# 資料庫用戶驗證
db.authenticate("moko", "moko")
urls = ["http://www.moko.cc/subscribe/chenhaoalex/1.html"]
index = 0 #索引
g_lock = threading.Lock() #初始化一個鎖
#生產者
class Producer(threading.Thread):
def run(self):
print("線程啟動...")
headers = Config().getHeaders()
print(headers)
global urls
global index
while True:
g_lock.acquire()
if len(urls)==0:
g_lock.release()
continue
page_url = urls.pop()
g_lock.release() #使用完成之後及時把鎖給釋放,方便其他線程使用
response = ""
try:
response = requests.get(page_url,headers=headers,timeout=5)
except Exception as http:
print("生產者異常")
print(http)
continue
content = response.text
rc = re.compile(r'<a class=\"imgBorder\" href=\"\/(.*?)\" hidefocus=\"true\">')
follows = rc.findall(content)
print(follows)
fo_url = []
threading_links_2 = []
for u in follows:
this_url = "http://www.moko.cc/subscribe/%s/1.html" % u
g_lock.acquire()
index += 1
g_lock.release()
fo_url.append({"index":index,"link":this_url})
threading_links_2.append(this_url)
g_lock.acquire()
urls += threading_links_2
g_lock.release()
print(fo_url)
try:
db.text.insert_many(fo_url,ordered=False )
except:
continue
if __name__ == "__main__":
p = Producer()
p.start()
上面代碼除了基本操作以外,我做了一些細小的處理
現在說明如下
fo_url.append({"index":index,"link":this_url})
這部分代碼,是為了消費者使用時候,方便進行查找並且刪除操作而特意改造的,增加了一個欄位index作為標識
第二個部分,插入數據的時候,我進行了批量的操作使用的是insert_many
函數,並且關鍵的地方,我增加了一個ordered=False的操作,這個地方大家可以自行研究一下,我的目的是去掉重覆數據,預設情況下insert_many
函數如果碰到數據重覆,並且在mongodb中創建了索引==創建索引的辦法,大家自行翻閱文章上面==,那麼是無法插入的,但是這樣子會插入一部分,只把重覆的地方略過,非常方便。
關於pymongo的使用,大家可以參考官網手冊
這個是 pymongo的官方教程
http://api.mongodb.com/python/current/api/pymongo/collection.html?highlight=insert_many#pymongo.collection.Collection.insert_many
MongoDB的手冊大家也可以參考
https://docs.mongodb.com/manual/reference/method/db.collection.insertMany/
db.text.insert_many(fo_url,ordered=False )
我們鏈接上MongoDB資料庫,查詢一下我們剛剛插入的數據
> show collections
col
links
text
> db.text
moko.text
> db.text.find()
{ "_id" : ObjectId("5b1789e0c3666e642364a70b"), "index" : 1, "link" : "http://www.moko.cc/subscribe/dde760d5dd6a4413aacb91d1b1d76721/1.html" }
{ "_id" : ObjectId("5b1789e0c3666e642364a70c"), "index" : 2, "link" : "http://www.moko.cc/subscribe/3cc82db2231a4449aaa97ed8016b917a/1.html" }
.......
{ "_id" : ObjectId("5b1789e0c3666e642364a71e"), "index" : 20, "link" : "http://www.moko.cc/subscribe/8c1e4c738e654aad85903572f9090adb/1.html" }
Type "it" for more
其實上面代碼,有一個非常嚴重的BUG,就是當我們實際操作的時候,發現,我們每次獲取到的都是我們使用this_url = "http://www.moko.cc/subscribe/%s/1.html" % u
進行拼接的結果。
也就是說,我們獲取到的永遠都是第1頁。這個按照我們之前設計的就不符合邏輯了,
我們還要獲取到分頁的內容,那麼這個地方需要做一個簡單的判斷,就是下麵的邏輯了。
==如果完整代碼,大家不知道如何觀看,可以直接翻閱到文章底部,有對應的github鏈接==
#如果是第一頁,那麼需要判斷一下
#print(page_url)
is_home =re.search(r'(\d*?)\.html',page_url).group(1)
if is_home == str(1):
pages = re.findall(r'onfocus=\"this\.blur\(\)\">(\d*?)<',content,re.S) #獲取總頁數
page_size = 1
if pages:
page_size = int(max(pages)) #獲取最大頁數
if page_size > 1: #如果最大頁數大於1,那麼獲取所有的頁面
url_arr = []
threading_links_1 = []
for page in range(2,page_size+1):
url = re.sub(r'(\d*?)\.html',str(page)+".html",page_url)
threading_links_1.append(url)
g_lock.acquire()
index += 1
g_lock.release()
url_arr.append({ "index":index, "link": url})
g_lock.acquire()
urls += threading_links_1 # URL數據添加
g_lock.release()
try:
db.text.insert_many(url_arr,ordered=False )
except Exception as e:
print("資料庫輸入異常")
print (e)
continue
else:
pass
else:
pass
截止到現在為止,其實你已經實現了鏈接的生產者了 。
我們在MongoDB中生成了一堆鏈接,接下來就是使用階段了。
使用起來也是非常簡單。
我先給大家看一個比較複雜的正則表達式
爬蟲寫的好不好,正則表達式站很重要的比例哦~
divEditOperate_(?P<ID>\d*)[\"] .*>[\s\S]*?<p class=\"state\">.*?(?P<級別>\w*P).*</span></span>(?P<是否認證><br/>)?.*?</p>[\s\S]*?<div class=\"info clearfix\">[\s\S]*?<a class=\"imgBorder\" href=\"\/(?P<主頁>.*?)\" hidefocus=\"true\">[\s\S]*?<img .*?src=\"(?P<頭像>.*?)\".*?alt=\".*?\" title=\"(?P<昵稱>.*?)\" />[\s\S]*?<p class=\"font12 lesserColor\">(?P<地點>.*?) .*?<span class=\"font12 mainColor\">(?P<粉絲數目>\d*?)</span>
上面這個正則表達式,就是我為
http://www.moko.cc/subscribe/chenhaoalex/1.html
這個頁面專門準備的。
這樣子,我就可以直接獲取到我想要的所有數據了。
消費者的代碼如下
get_index = 0
#消費者類
class Consumer(threading.Thread):
def run(self):
headers = Config().getHeaders()
global get_index
while True:
g_lock.acquire()
get_index += 1
g_lock.release()
#從剛纔數據存儲的列裡面獲取一條數據,這裡用到find_one_and_delete方法
#get_index 需要聲明成全局的變數
link = db.links.find_one_and_delete({"index":get_index})
page_url = ""
if link:
page_url = link["link"]
print(page_url+">>>網頁分析中...")
else:
continue
response = ""
try:
response = requests.get(page_url,headers=headers,timeout=5)
except Exception as http:
print("消費者有異常")
print(http)
continue
content = response.text
rc = re.compile(r'divEditOperate_(?P<ID>\d*)[\"] .*>[\s\S]*?<p class=\"state\">.*?(?P<級別>\w*P).*</span></span>(?P<是否認證><br/>)?.*?</p>[\s\S]*?<div class=\"info clearfix\">[\s\S]*?<a class=\"imgBorder\" href=\"\/(?P<主頁>.*?)\" hidefocus=\"true\">[\s\S]*?<img .*?src=\"(?P<頭像>.*?)\".*?alt=\".*?\" title=\"(?P<昵稱>.*?)\" />[\s\S]*?<p class=\"font12 lesserColor\">(?P<地點>.*?) .*?<span class=\"font12 mainColor\">(?P<粉絲數目>\d*?)</span>')
user_info = rc.findall(content)
print(">>>>>>>>>>>>>>>>>>>>")
users = []
for user in user_info:
post = {
"id": user[0],
"level": user[1],
"real":user[2],
"profile": user[3],
'thumb':user[4],
'nikename':user[5],
'address':user[6],
'follows':user[7]
}
users.append(post)
print(users)
try:
db.mkusers.insert_many(users,ordered=False )
except Exception as e:
print("資料庫輸入異常")
print (e)
continue
time.sleep(1)
print("<<<<<<<<<<<<<<<<<<<<")
當你使用python3 demo.py
編譯demo之後,屏幕滾動如下結果,那麼你成功了。
接下來就可以去資料庫查閱數據去了。
[linuxboy@bogon moocspider]$ python3 demo.py
線程啟動...
{'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3'}
http://www.moko.cc/subscribe/chenhaoalex/2.html>>>網頁分析中...
['dde760d5dd6a4413aacb91d1b1d76721', '3cc82db2231a4449aaa97ed8016b917a', 'a1835464ad874eec92ccbb31841a7590', 'c9ba6a47a246494398d4e26c1e0b7e54', '902fe175e668417788a4fb5d4de7ab99', 'dcb8f11265594f17b821a6d90caf96a7', '7ea0a96621eb4ed99c9c642936559c94', 'd45c1e3069c24152abdc41c1fb342b8f', 'chenyiqiu', '798522844', 'MEERILLES', 'ddfd9e1f7dca4cffb2430caebd2494f8', 'd19cbd37c87e400e9da42e159560649b', 'ac07e7fbfde14922bb1d0246b9e4374d', '05abc72ac7bb4f738f73028fed17ac23', 'hanzhuoer', 'e12e15aaee654b8aa9f528215bc3294c', '3b6d8dc6fd814789bd484f393b5c9fa8', '83256b93a2f94f449ab75c730cb80a7b', '8c1e4c738e654aad85903572f9090adb']
[{'index': 77, 'link': 'http://www.moko.cc/subscribe/dde760d5dd6a4413aacb91d1b1d76721/1.html'}, {'index': 78, 'link': 'http://www.moko.cc/subscribe/3cc82db2231a4449aaa97ed8016b917a/1.html'}, {'index': 79, 'link': 'http://www.moko.cc/subscribe/a1835464ad874eec92ccbb31841a7590/1.html'}, {'index': 80, 'link': 'http://www.moko.cc/subscribe/c9ba6a47a246494398d4e26c1e0b7e54/1.html'}, {]
>>>>>>>>>>>>>>>>>>>>
[{'id': '3533155', 'level': 'MP', 'real': '', 'profile': 'b1a7e76455cc4ca4b81ed800ab68b308', 'thumb': 'http://img.mb.moko.cc/2018-02-17/d7db42d4-7f34-46d2-a760-c88eb90d6e0d.jpg', 'nikename': '模特九九', 'address': '大連', 'follows': '10'}, {'id': '3189865', 'level': 'VIP', 'real': '', 'profile': 'cfdf1482a9034f65a60bc6a1cf8d6a02', 'thumb': 'http://img.mb.moko.cc/2016-09-30/98c1ddd3-f9a8-4a15-a106-5d664fa7b558.jpg', 'nikename': '何應77', 'address': '杭州', 'follows': '219'}, {'id': '14886', 'level': 'VIP', 'real': '<br/>', 'profile': 'cndp', 'thumb': 'http://img2.moko.cc/users/0/49/14886/logo/img2_des_x3_10100286.jpg', 'nikename': '多拍PGirl', 'address': '北京', 'follows': '2331'}, {'id': '3539257', 'level': 'MP', 'real': '<br/>', 'profile': '605c8fb2824049aa841f21858a7fd142', 'thumb': 'http://img.mb.moko.cc/2018-02':
記得處理數據的時候去掉重覆值
>show collections
col
links
mkusers
text
> db.mkusers.find()
{ "_id" : ObjectId("5b17931ec3666e6eff3953bc"), "id" : "3533155", "level" : "MP", "real" : "", "profile" : "b1a7e76455cc4ca4b81ed800ab68b308", "thumb" : "http://img.mb.moko.cc/2018-02-17/d7db42d4-7f34-46d2-a760-c88eb90d6e0d.jpg", "nikename" : "模特九九", "address" : "大連", "follows" : "10" }
{ "_id" : ObjectId("5b17931ec3666e6eff3953bd"), "id" : "3189865", "level" : "VIP", "real" : "", "profile" : "cfdf1482a9034f65a60bc6a1cf8d6a02", "thumb" : "http://img.mb.moko.cc/2016-09-30/98c1ddd3-f9a8-4a15-a106-5d664fa7b558.jpg", "nikename" : "何應77", "address" : "杭州", "follows" : "219" }
{ "_id" : ObjectId("5b17931ec3666e6eff3953be"), "id" : "14886", "level" : "VIP", "real" : "<br/>", "profile" : "cndp", "thumb" : "http://img2.moko.cc/users/0/49/14886/logo/img2_des_x3_10100286.jpg", "nikename" : "多拍PGirl", "address" : "北京", "follows" : "2331" }
{ "_
最後一步,如果你想要把效率提高,修改線程就好了
if __name__ == "__main__":
for i in range(5):
p = Producer()
p.start()
for i in range(7):
c = Consumer()
c.start()
經過3個小時的爬取,我獲取了70000多美空的用戶ID,原則上,你可以獲取到所有的被關註者的,不過這些數據對我們測試來說,已經足夠使用。
代碼github地址: https://github.com/wangdezhen/mokospider.git