利用python完成多個url狀態碼的檢測

来源:https://www.cnblogs.com/xiaoyafei/archive/2018/07/27/9375665.html
-Advertisement-
Play Games

需要註意的是: 1.需要在當前目錄下創建hosts.txt文件,文件內容格式為: https://www.baidu.com,百度首頁 https://www.trc.com,泰然城首頁 https://www.jd.com,京東商城 2.ding_url換成自己的釘釘機器人webhook鏈接,也可 ...


import re
import requests
import json
from threading import Thread,Lock
from concurrent.futures import ThreadPoolExecutor

list1 = []
list2 = []
code_list = [200,301,302,401]  # 定義正確的狀態碼

class MyThread(Thread):
    '''
    用來獲取線程的值
    '''
    def __init__(self,func,args=()):
        super(MyThread, self).__init__()
        self.func = func
        self.args = args
    def run(self):
        self.result = self.func(*self.args)
    def get_result(self):
        try:
            return self.result
        except Exception:
            return None

def get_url():
    '''
    打開存放url的文件,並將結果返回出去
    :return:
    '''
    try:
        with open('hosts.txt','r',encoding='utf-8') as f:
            data = f.readlines()
            return data
    except Exception:  # 文件不存在則返回False
        return False

def verdictUrl():
    '''
    從hosts.txt文件中取出url,然後進行合法性檢測
    :return:
    '''
    url_list = []
    comment_list = []
    get_url_res = get_url()
    if get_url_res:
        for data in get_url_res:
            url = data.split(',')[0]
            comment = data.split(',')[-1]
            try:
                res = re.search(r'http\w{0,1}://(\w+\.){2}\w+.*', url).group()
                url_list.append(res)
                comment_list.append(comment)
            except Exception:
                print('url:%s 有誤'%url)
        return (url_list,comment_list)
    else:
        print('文件不存在......')

def getStatusCode(url,comment):
    '''
    獲取網站的狀態碼,並將它返回出去
    :param url:
    :param comment:
    :return:
    '''
    global list1,list2
    try:
        res = requests.head(url)
        if res.status_code in code_list:
            lock.acquire()  # 開始添加互斥鎖
            list1.append(res.status_code)
            lock.release()
    except requests.exceptions.ConnectionError:
        status = 0  # 自定義狀態碼
        lock.acquire()
        list2.append(status)
        lock.release()
    else:
        status = res.status_code  # 將狀態碼賦值給status
    finally:
        return {'url':url,'StatusCode':status,'comment':comment}

def sendDingDing(bc):
    '''
    用來接收getStatusCode的返回值以及釘釘發送消息
    :param bc:
    :return:
    '''
    ding_url = 'https://oapi.dingtalk.com/robot/send?access_token=e0bef403aded94c230953384353bc411a7fba57389ebd59bc0e63cc602ec175f'
    HEADERS = {
        "Content-Type": "application/json ;charset=utf-8"
    }
    bc = bc.result()
    url = bc['url']
    status = bc['StatusCode']
    comment = bc['comment']
    string_textMsg = {
        'msgtype': 'text',
        'text': {  # 自行添加需要的內容
            'content': 'url地址:%s\n'
                       'url名稱:%s\n'
                       '狀態碼:%s\n'% (url, comment,status)
        }
    }
    string_textMsg = json.dumps(string_textMsg)  # 序列化到記憶體中
    res = requests.post(ding_url, data=string_textMsg, headers=HEADERS)
if __name__ == '__main__':
    lock = Lock()  # 創建鎖對象

    pool = ThreadPoolExecutor(4)  # 線程池
    url,comment = verdictUrl()
    res = zip(url,comment)
    li = []
    for i in res:
        for j in range(4):  # 開啟多線程
            t = MyThread(getStatusCode,args = (i[0],i[1]))
            li.append(t)
            t.start()
        for t in li:
            t.join()

        if len(list1)>3 or len(list2)>3:  # 如果xxxxx,則交給sendDingDing處理
            pool.submit(getStatusCode,i[0],i[1]).add_done_callback(sendDingDing)

 

需要註意的是:

1.需要在當前目錄下創建hosts.txt文件,文件內容格式為:

  https://www.baidu.com,百度首頁

  https://www.trc.com,泰然城首頁

  https://www.jd.com,京東商城

2.ding_url換成自己的釘釘機器人webhook鏈接,也可以換成微信報警


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 本人小白,使用的是MYB-Y335X開發板,基於TI推出的Cortex A8內核的AM3352b處理器晶元。 開發板自帶的開發手冊寫的異常簡單,對於初學者來說上手比較困難,但是也間接的提高了自己解決問題的能力。 1、首先需要在linux主機中編譯想要運行的程式,這裡以led.c程式為例,進入led程 ...
  • Tmux 和 gun/screen 都是優秀的終端復用軟體,它的關鍵的好處就是,保持ssh 登錄連接session不中斷,並且能支持分屏操作,具備豐富的命令行參數,可以進行動態佈局和操作。可以看作為screen 命令的升級版。很多linux 的發行版都包含screen 命令,而tmux 命令需要進行 ...
  • 整理自(來源):http://tieba.baidu.com/p/4934345324 (【新手教程】利用EFI啟動盤修改 隱藏bios設置)http://tieba.baidu.com/p/4905573105(#新版工具#分享一個修改insyde bios的工具——H2OEZE)(侵刪) 另本文... ...
  • 1.創建三台虛擬機分別在虛擬機上安裝Ubuntu16.04Server版的系統。 2.首先選擇配置好第一臺虛擬機,使用命令vim /etc/hosts對該文件進行修改 3.將zookeeper-3.4.10.tar.gz包解壓在指定的目錄下(我的是在/usr/local/java/),並將解壓後的包 ...
  • MySQL的多實例配置 在一臺物理機中需要多個測試環境,那麼就需要用到了搭建資料庫的多個實例,多個實例的意思就是運行多份程式,實例與實例之間沒有影響。要註意監聽的埠需要不同。也就是在一臺主機上跑好多個mysql實例資料庫,每個資料庫自己管理自己獨立的資料庫文件。 準備環境:centos7.4,關閉 ...
  • 1、安裝sudo apt-get install cmake-curses-gui,這是一個可視化的配置cmake,這種方式編譯後的.so文件非常小 2、下載protobuf-cpp-3.5.0.tar.gz解壓 3、cd protobuf-3.5.0 4、mkdir build5、cd build ...
  • 1、安裝cmake:sudo apt-get install cmake 2、下載opencv-2.4.10.zip,解壓 3、編譯opencv cd /home/opencv-2.4.10 mkdir build cd build/ cmake -D CMAKE_BUILD_TYPE=RELEAS ...
  • 先寫一鍵部署腳本,肯定是先要知道如何手動安裝Apache,Mysql,php,phpmyadmin 一 Apache2的安裝 安裝好之後,手動看一下apache的版本 輸入ip(本地的話直接打localhost),瀏覽器打開: ok 安裝完成(或者你把你想展示的網頁放在 var/www裡面就好) 另 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...