馬上就要過年了,聽說還有人買不到票? 不要慌,今天咱們來用Python做一個自動查票搶票的腳本,24小時搶票,誰搶的過你! 準備工作 環境 Python 3.8 Pycharm 插件 谷歌瀏覽器驅動 模塊 需要安裝的第三方模塊,直接pip安裝即可。 requests # 數據請求模塊 prettyt ...
馬上就要過年了,聽說還有人買不到票?
不要慌,今天咱們來用Python做一個自動查票搶票的腳本,24小時搶票,誰搶的過你!
準備工作
環境
- Python 3.8
- Pycharm
插件
谷歌瀏覽器驅動
模塊
需要安裝的第三方模塊,直接pip安裝即可。
requests # 數據請求模塊 prettytable # 列印好看一些 selenium # 模擬人的行為去操作瀏覽器
文件素材
city.json文件 # 下圖素材、視頻、代碼、插件安裝教程我都準備好了,直接在這個q君羊708525271自取就好了
一點小TIPS
12306 每天只能退票三次
查票
購票
建議谷歌或者火狐…
爬蟲思路
分析數據來源
車票信息:來源哪個數據包 <車票信息請求那個網站url地址可以得到>
開發者工具:F12
代碼實現步驟
1、發送請求, 對於剛剛分析得到url地址發送請求。
2、獲取數據, 獲取伺服器返迴響應數據, response
3、解析數據, 提取我們想要車次信息。
# 導入數據請求模塊 import requests # 導入格式化列印 import prettytable as pt # 導入json import json # 導入自動化測試模塊 from selenium import webdriver # 導入賬號密碼 from password import account, Password # 導入時間模塊 import time # 導入鍵盤控制 from selenium.webdriver.common.keys import Keys
打開瀏覽器。
driver = webdriver.Chrome()
繞過檢測機制
driver.execute_cdp_cmd("Page.addScriptToEvaluateOnNewDocument", {"source": """Object.defineProperty(navigator, 'webdriver', {get: () => undefined})"""})
輸入網址
driver.get('https://kyfw.12306.cn/otn/resources/login.html')
輸入賬號密碼
先找到賬號密碼輸入框, 再進行輸入操作。
try: # 輸入賬號 driver.find_element_by_css_selector('#J-userName').send_keys(account) # 輸入密碼 driver.find_element_by_css_selector('#J-password').send_keys(Password) # 點擊登陸 driver.find_element_by_css_selector('#J-login').click() # 延時 driver.implicitly_wait(10) time.sleep(1)
點擊彈窗
driver.implicitly_wait(10) # 延時等待 為了讓網頁元素載入 time.sleep(1) driver.find_element_by_css_selector('.btn').click()
點擊車票預定
driver.find_element_by_css_selector('#link_for_ticket').click()
選擇城市以及時間, 點擊查詢
driver.find_element_by_css_selector('#fromStationText').click() # 點擊輸入框 driver.find_element_by_css_selector('#fromStationText').clear() # 清空輸入框 driver.find_element_by_css_selector('#fromStationText').send_keys('長沙') # 輸入內容 driver.find_element_by_css_selector('#fromStationText').send_keys(Keys.ENTER) # 回車按鈕 # 輸入到達的城市 driver.find_element_by_css_selector('#toStationText').click() # 點擊輸入框 driver.find_element_by_css_selector('#toStationText').clear() # 清空輸入框 driver.find_element_by_css_selector('#toStationText').send_keys('上海') # 輸入內容 driver.find_element_by_css_selector('#toStationText').send_keys(Keys.ENTER) # 回車按鈕 # 輸入時間 driver.find_element_by_css_selector('#train_date').click() # 點擊輸入框 driver.find_element_by_css_selector('#train_date').clear() # 清空輸入框 driver.find_element_by_css_selector('#train_date').send_keys('2022-11-09') # 輸入內容 # 點擊查詢按鈕 driver.find_element_by_css_selector('#query_ticket').click() # 點擊預定 driver.find_element_by_css_selector('#queryLeftTable tr:nth-child(1) .btn72').click() # 選擇乘車人 driver.find_element_by_css_selector('#normalPassenger_1').click() # 點擊提交提單 driver.find_element_by_css_selector('#submitOrder_id').click() # 選擇座位 # driver.find_element_by_css_selector('#erdeng1 > ul:nth-child(4) > li:nth-child(2)').click() # 點擊提交 time.sleep(3) driver.find_element_by_css_selector('#qr_submit_id').click() driver.find_element_by_css_selector('#qr_submit_id').click()
發送請求, 模擬瀏覽器對url地址發送請求
# 讀取文件 城市字母文件 f = open('city.json', encoding='utf-8') # f.read() 返回字元串數據類型 把字元串轉成json字典數據 --> 根據鍵值對取值 json_data = json.loads(f.read()) # 輸入內容 from_city = input('請輸入你要出發城市: ') to_city = input('請輸入你要到達城市: ') date = '2022-11-09' # 確定請求鏈接 url = f'https://kyfw.12306.cn/otn/leftTicket/query?leftTicketDTO.train_date={date}&leftTicketDTO.from_station={json_data[from_city]}&leftTicketDTO.to_station={json_data[to_city]}&purpose_codes=ADULT' # 模擬偽裝 ---> headers 請求頭 headers = { # Cookie 用戶信息, 表示常用於檢測是否有登陸賬號 'Cookie': '_uab_collina=165650330916153394558455; JSESSIONID=34AFEC7D7370756179A2976A79434D6A; _jc_save_wfdc_flag=dc; _jc_save_fromStation=%u957F%u6C99%2CCSQ; BIGipServerotn=1911030026.24610.0000; BIGipServerpassport=770179338.50215.0000; guidesStatus=off; highContrastMode=defaltMode; cursorStatus=off; RAIL_EXPIRATION=1668129535127; RAIL_DEVICEID=TbHG0I9N4zNOVXocTOo6JdSREGznbbsYb5f_xQPshKLa1Y8Qx7LbGMu_h4Zwb6MyBOk_1zvlhZn85dlBcC4F1SEL1hwpTWuAkNkA7dSIqQ-dgdZAcoL1jMCS4bWfKSgKEstpGs8BAzfO-ItsTfKkP6YQL9Y24vGA; fo=uyys4j4q4rs7diywCDbOKBwdzYaDJcHjbyEG0hwDDZbF9Swz2dB79o6CCDC_EOHwJ7XidDtuZKQKjz6vYdfE3PDpSX9YvVulaMDDQmKGRPhrjzRZHlNGKC2S6egp70_4PJGqyv770aRXnJgffGRwkABzbJZDDiUtaTyHzatcoZpt_YO-T-dfbdjNQrQ; route=9036359bb8a8a461c164a04f8f50b252; _jc_save_toStation=%u4E0A%u6D77%2CSHH; _jc_save_fromDate=2022-11-09; _jc_save_toDate=2022-11-07', # User-Agent 用戶代理 表示瀏覽器基本身份信息 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/101.0.0.0 Safari/537.36' } # 發送請求 response = requests.get(url=url, headers=headers) # <Response [200]> 表示請求成功了 print(response)
獲取數據,獲取伺服器返迴響應數據。
為什麼獲取response.json() 數據的時候報錯?
simplejson.errors.JSONDecodeError: Expecting value: line 1 column 4 (char 3)
一定獲取的數據, 不是完整json數據格式
解決方法:
- 獲取response.text 看數據返回情況
發現自己獲取的數據, 和開發者工具裡面所看到不一樣 <因為你被反爬了 [要麼得不到數據, 要麼得到數據不是想要的]> - 因為沒有偽裝, 加headers 偽裝一下
解析數據, 提取我們想要車次信息
response.json() # 獲取響應json字典數據 完整的花括弧 response.text # 獲取響應文本數據 字元串數據
根據基礎語法知識點: 字典取值 --> 鍵值對取值, 根據冒號左邊的內容[鍵], 提取冒號有右邊的內容[值]
# 實例化一個對象 tb = pt.PrettyTable() # 輸出添加欄位名 tb.field_names = [ '序號', '車次', '出發時間', '到達時間', '耗時', '特等座', '一等', '二等', '軟卧', '硬卧', '硬座', '無座', ] # 添加序號 每次迴圈+1 page = 0 # for迴圈遍歷, 把列表裡面元素 一個一個提出來 for i in response.json()['data']['result']: # 先用 split 分割, 再用列表取值: 根據索引位置 index = i.split('|') num = index[3] # 車次 start_time = index[8] # 出發時間 end_time = index[9] # 到達時間 use_time = index[10] # 耗時 topGrade = index[32] # 特等座 first_class = index[31] # 一等 second_class = index[30] # 二等 hard_sleeper = index[28] # 硬卧 hard_seat = index[29] # 硬座 no_seat = index[26] # 無座 soft_sleeper = index[23] # 軟卧 dit = { '序號': page, '車次': num, '出發時間': start_time, '到達時間': end_time, '耗時': use_time, '特等座': topGrade, '一等': first_class, '二等': second_class, '軟卧': soft_sleeper, '硬卧': hard_sleeper, '硬座': hard_seat, '無座': no_seat, } # print(dit) # 添加每行輸出內容 tb.add_row([page, num, start_time, end_time, use_time, topGrade, first_class, second_class, soft_sleeper, hard_sleeper, hard_seat, no_seat, ]) page += 1 # 每次迴圈+1
今天的分享就到這裡結束了,覺得有用的話,記得點餐收藏呀!