前言 隨著互聯網時代的到來，人們更加傾向於互聯網購物。某寶又是電商行業的巨頭，在某寶平臺中有很多商家數據。 今天帶大家使用python+selenium工具獲取這些公開的 適合人群： Python零基礎、對爬蟲數據採集感興趣的同學！ 環境介紹： python 3.6pycharmseleniumti ...
前言
隨著互聯網時代的到來，人們更加傾向於互聯網購物。某寶又是電商行業的巨頭，在某寶平臺中有很多商家數據。
今天帶大家使用python+selenium工具獲取這些公開的
適合人群：
Python零基礎、對爬蟲數據採集感興趣的同學！
環境介紹：
python 3.6
pycharm
selenium
time
1、安裝selenium模塊
pip install selenium
2、請求網頁地址
if __name__ == '__main__': keyword = input('請輸入你要查詢的商品數據：') driver = webdriver.Chrome() driver.get('https://www.taobao.com') main()
3、登錄淘寶賬戶，並搜索商品
def search_product(key): """模擬搜索商品，獲取最大頁數""" driver.find_element_by_id('q').send_keys(key) # 根據id值找到搜索框輸入關鍵字 driver.find_element_by_class_name('btn-search').click() # 點擊搜索案例 driver.maximize_window() # 最大化視窗 time.sleep(15) page = driver.find_element_by_xpath('//*[@id="mainsrp-pager"]/div/div/div/div[1]') # 獲取頁數的標簽 page = page.text # 提取標簽的文字 page = re.findall('(\d+)', page)[0] # print(page) return int(page)
4、獲取商品數據
def get_product(): divs = driver.find_elements_by_xpath('//div[@class="items"]/div[@class="item J_MouserOnverReq "]') for div in divs: info = div.find_element_by_xpath('.//div[@class="row row-2 title"]/a').text # 商品名稱 price = div.find_element_by_xpath('.//strong').text + '元' # 商品價格 deal = div.find_element_by_xpath('.//div[@class="deal-cnt"]').text # 付款人數 name = div.find_element_by_xpath('.//div[@class="shop"]/a').text # 店鋪名稱 print(info, price, deal, name, sep='|') with open('data.csv', 'a', newline='') as csvfile: # newline='' 指定一行一行寫入 csvwriter = csv.writer(csvfile, delimiter=',') # delimiter=',' csv數據的分隔符 csvwriter.writerow([info, price, deal, name]) # 序列化數據，寫入csv def main(): search_product(keyword) page = get_product()
如果你處於想學Python或者正在學習Python，Python的教程不少了吧，但是是最新的嗎？說不定你學了可能是兩年前人家就學過的內容，在這小編分享一波2020最新的Python教程。獲取方式，私信小編 “ 資料 ”，即可免費獲取哦！
