Python爬蟲連載15-利用selenium模塊控制chrome

来源:https://www.cnblogs.com/ruigege0000/archive/2020/03/18/12514819.html
-Advertisement-
Play Games

一、 1.下載安裝chrome+chrome driver 2.selenium​操作主要分為兩類: (1)得到UI元素 find_element_by_id:通過id值來獲取元素 find_elements_by_name(下麵都同理) find_elements_by_xpath find_el ...


一、

1.下載安裝chrome+chrome driver

2.selenium​操作主要分為兩類:

(1)得到UI元素

find_element_by_id:通過id值來獲取元素

find_elements_by_name(下麵都同理)

find_elements_by_xpath

find_elements_by_link_text

find_elements_by_partial_link_text

find_elements_by_tag_name

find_elements_by_class_name

find_elements_by_css_selector

(2)基於UI元素操作的模擬

單擊;右鍵;​拖拽;​輸入;可以通過導入ActionChains類來做到

 

from selenium import webdriver

from selenium.webdriver.common.keys import Keys#導入的鍵盤

import time

#可能需要手動添加路徑

chromedriverAddress = r"C:\Users\lenovo1\AppData\Local\Programs\Python\Python37\Lib\site-packages\selenium\webdriver\chrome\chromedriver.exe"

driver = webdriver.Chrome(executable_path=chromedriverAddress)

#寫這一行的時候報錯了,可見這裡配置:https://blog.csdn.net/weixin_43746433/article/details/95237254

​

url = "http://www.baidu.com"

driver.get(url)

text1 = driver.find_element_by_id("wrapper").text#得到這個元素的值

print(text1)

print(driver.title)

#得到頁面的快照

driver.save_screenshot("index,png")

​

driver.find_element_by_id("kw").send_keys(u"大熊貓")#向這個id輸入“大熊貓”(實際上這裡的kw的id就是查找的欄位)

driver.find_element_by_id("su").click()#點擊操作(實際上就是上一步鍵入信息,下一步我們進行檢索)

time.sleep(5)

driver.save_screenshot("daxiongmao.png")

#獲取當前界面的cookie

print(driver.get_cookies())

#模擬輸入兩個按鍵ctrl+a

driver.find_element_by_id("kw").send_keys(Keys.CONTROL,'a')

#模擬ctrl + x,剪切操作

driver.find_element_by_id("kw").send_keys(Keys.CONTROL,'x')

driver.find_element_by_id("kw").send_keys(u"航空母艦")

driver.save_screenshot("hangmu.png")

driver.find_element_by_id("su").send_keys(Keys.RETURN)

time.sleep(5)

driver.save_screenshot("hangmu2.png")

#清空輸入框,clear

driver.find_element_by_id("kw").clear()

​

#關閉瀏覽器

driver.quit()

 

二、驗證碼問題

1.​驗證碼最大的作用就是用於判斷訪問者是機器人還是真人,可以分為:​見到那圖片;極驗(​官網:www.geetest.com);12306;電話​報驗證碼;google驗證​;

2.​驗證碼破解:

(1)​通用方法:下載網頁和驗證碼​;手動輸入驗證號碼/

(2)簡單圖片​:使用圖像識別軟體​識別軟體;可以使用第三方圖像驗證碼破解網站

三、源碼

Reptile15_1_DHtmlChrome.py

https://github.com/ruigege66/PythonReptile/blob/master/Reptile15_1_DHtmlChrome.py

2.CSDN:https://blog.csdn.net/weixin_44630050

3.博客園:https://www.cnblogs.com/ruigege0000/

4.歡迎關註微信公眾號:傅里葉變換,個人公眾號,僅用於學習交流,後臺回覆”禮包“,獲取大數據學習資料

 


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • [toc] 運用領域模型說明 模型是什麼 模型被用來描繪人們所關註的現實或想法的某個方面。模型是一種簡化。是對現實的解釋——把與解決問題密切相關的方面抽象出來,而忽略無關的細節。 程式和業務 每個軟體程式是為了執行用戶的某項活動,或是滿足用戶的某種需求。這些用戶應用軟體的問題區域就是軟體的領域。一些 ...
  • [toc] 領域驅動設計 非原創,感謝《領域驅動設計》這本書 有很多因素會使軟體開發複雜化,但最根本的原因是問題領域本身錯綜複雜。如果你要為一家人員複雜的企業提高自動化程度,那麼你開發的軟體將無法迴避這種複雜性,你所能做的只有控制這種複雜性。控制複雜性的關鍵是有一個好的領域模型,這個模型不應該僅僅停 ...
  • 北航OO(2020)第一單元博客作業 [TOC] 基於度量的程式結構分析 Homework 1 代碼度量 | Method | CONTROL | ev\(G\) | iv\(G\) | LOC | v\(G\) | | | | | | | | | "Expression\.Expression\( ...
  • GoF的23種設計模式分類和功能 一、分類 範圍\目的 創建型模型 結構型模型 行為型模型 類模式 工廠方法 (類)適配器 模版方法、解釋器 對象模式 單例 原型 抽象工廠 建造者 代理 (對象)適配器 橋接 裝飾 外觀 享元 組合 策略 命令 職責聯 狀態 觀察者 中介者 訪問者 迭代器 備忘錄 ...
  • 引子 先介紹幾個概念,同步一下認知: 容災:是指系統冗餘部署,當一處由於意外停止工作,整個系統應用還可以正常工作。 容錯:是指在運行中出現錯誤(如上下游故障或概率性失敗)仍可正常提供服務。 可用性:描述的是系統可提供服務的時間長短。用公式來說就是A=MTBF/(MTBF+MTTR),即正常工作時間/ ...
  • 簡介: Java web項目中,在後端隨機生成一個驗證碼,繪製成圖像,併在圖像上添加兩條幹擾線,發送到瀏覽器,供用戶使用。 本片博文內容包括,功能實現的邏輯步驟,Java實現代碼,生成的驗證碼圖片展示。 步驟一:生成一個包含四個字元的字元串 使用一個數組char[]+一個Random對象實現該功能。 ...
  • 1.模型管理 :web線上流程設計器、預覽流程xml、導出xml、部署流程 2.流程管理 :導入導出流程資源文件、查看流程圖、根據流程實例反射出流程模型、激活掛起 3.運行中流程:查看流程信息、當前任務節點、當前流程圖、作廢暫停流程、指派待辦人 4.歷史的流程:查看流程信息、流程用時、流程狀態、查看 ...
  • oracle的jdk下載需要登錄,https://blog.csdn.net/qq_40298231/article/details/98485608 安裝JDK,傻瓜式操作 配置環境變數 右擊“我的電腦”-->"屬性"-->"高級系統設置"-->"高級"-->"環境變數" 在系統變數里新建"JAV ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...