Scrapy-從資料庫取出IP並判斷是否可用

来源:https://www.cnblogs.com/chengdalei/archive/2019/04/27/10780580.html
-Advertisement-
Play Games

```python import pymysql import requests conn = pymysql.connect(host="localhost",user="root",passwd="root",db="CDL",charset="utf8") cursor = conn.curs ...


import pymysql
import requests

conn = pymysql.connect(host="localhost",user="root",passwd="root",db="CDL",charset="utf8")
cursor = conn.cursor()
class IpUtils(object):

    # 刪除無效ip
    def delete_ip(self,ip):
        sql ="delete from xiciproxy where ip='{0}'".format(ip)
        cursor.execute(sql)
        conn.commit()
        return True

    # 判斷ip是否可用
    def judge_ip(self,type,ip,port):
        http_url ="http://www.baidu.com"
        proxy_url ="{0}://{1}:{2}".format(type,ip,port)
        print("url:"+ proxy_url)
        try:
            proxy_dict = {
                type: proxy_url, # type 為https 或者http 資料庫存儲的
            }
            response = requests.get(http_url,proxies=proxy_dict)
        exceptExceptionase:
            self.delete_ip(ip)
            print("invalid ip and port")
            return False
            code = response.status_code
            if code >=200 and code <300:
                print("effective ip")
                return True
        else:
            print("invalid ip and port")
            self.delete_ip(ip)
            return False
    # 隨機獲取IP
    def get_random_ip(self):
        random_sql ="""
            SELECT type, ip, port FROM xiciproxy
            ORDER BY RAND()
            LIMIT 1
        """
        result = cursor.execute(random_sql)
        for ip_info in cursor.fetchall():
            type = ip_info[0]
            ip = ip_info[1]
            port = ip_info[2]
            judge_re =self.judge_ip(type,ip,port)
            ifjudge_re:
            return"{0}://{1}:{2}".format(type,ip,port)
        else:
            return self.get_random_ip()
if__name__ =="__main__":
    Ip = IpUtils()
    print(Ip.get_random_ip())

2020考研打卡第二十天,星辰之變,驕陽豈是終點。

人生不如意十之八九,我怎麼能放棄呢,老子一定要做大做強!!!


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 在創建Maven項目時,需要在pom.xml 文件中添加相應的依賴,其中有一個scope標簽,該標簽是設置該依賴範圍 (maven項目包含三種classpath{編譯classpath,測試classpath、運行classpath})的,其可選配置:compile、test、provided、ru ...
  • ConcurrentLinkedQueue是阻塞隊列嗎? ConcurrentLinkedQueue如何保證併發安全? ConcurrentLinkedQueue能用於線程池嗎? ...
  • 包: 對類文件進行分類管理;給類提供多層命名(名稱)空間;寫在程式文件的第一行;類名的全稱是 包名.類名包也是一種封裝形式; package protected必須是成為其子類,才能繼承import導入指定包中的類用的 導包的原則:用到哪個導哪個;作用:為了簡化類名書寫; jar包:Java的壓縮包 ...
  • Python基礎之字典的知識,內容包括 字典初識,字典的操作函數,字典其他擴展。其中,字典初識 包括 字典的認識,字典的作用和定義語法,字典的定義和取值,字典的基本使用-增刪改查;字典的操作函數包括 字典操作函數查看,字典操作實操,字典常用操作函數羅列,字典操作實操;字典其他擴展 包括 字典 迴圈遍... ...
  • Redis-Sentinel是官方推薦的高可用解決方案,當redis在做master-slave的高可用方案時,假如master宕機了,redis本身(以及其很多客戶端)都沒有實現自動進行主備切換,而redis-sentinel本身也是獨立運行的進程,可以部署在其他與redis集群可通訊的機器中監控... ...
  • 根據Java虛擬機規範,虛擬機記憶體中除過程式計數器之外的運行時數據區域都會發生OutOfMemoryError(OOM),本文將通過實際例子驗證分析各個數據區域OOM的情況。為了更貼近生產,本次所有例子都是通過調用介面觸發,並使用jvisualvm工具監控tomcat記憶體進行分析。 一、Java堆溢 ...
  • 1 九九乘法表 2 登錄程式 3,購物車程式 ...
  • php簡介,php歷史,php後端工程師職業前景,php技術方向,php後端工程師職業體系介紹。 php是世界上使用最廣泛的web開發語言,是超文本預處理器,是一種通用的開源腳本語言,語法吸收了c語言,Java語言,和Perl的特點,利於學習,使用廣泛,主要適用於web開發,PHP做出來的動態頁面與 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...