寫了一個Windows服務，通過C#模擬網站用戶登錄並爬取BUG列表查詢有沒有新的BUG，並提醒我

来源:http://www.cnblogs.com/s0611163/archive/2017/07/27/7245781.html
-Advertisement-
Play Games

寫了一個Windows服務，通過C#模擬網站用戶登錄並爬取BUG列表查詢有沒有新的BUG，並提醒我 1、HttpUtil工具類，用於模擬用戶登錄以及爬取網頁： using System; using System.Collections.Generic; using System.IO; using ...


寫了一個Windows服務，通過C#模擬網站用戶登錄並爬取BUG列表查詢有沒有新的BUG，並提醒我

1、HttpUtil工具類，用於模擬用戶登錄以及爬取網頁：

using System;
using System.Collections.Generic;
using System.IO;
using System.Linq;
using System.Net;
using System.Text;
using System.Threading;

namespace Utils
{
    /// <summary>
    /// Http上傳下載文件
    /// </summary>
    public class HttpUtil
    {
        #region cookie設置
        private static CookieContainer m_Cookie = new CookieContainer();

        public static void SetHttpCookie(CookieContainer cookie)
        {
            m_Cookie = cookie;
        }
        #endregion

        #region HttpDownloadFile 下載文件
        public static MemoryStream HttpDownloadFile(string url)
        {
            // 設置參數
            HttpWebRequest request = WebRequest.Create(url) as HttpWebRequest;
            request.Method = "GET";
            request.CookieContainer = m_Cookie;

            //發送請求並獲取相應回應數據
            HttpWebResponse response = request.GetResponse() as HttpWebResponse;
            //直到request.GetResponse()程式才開始向目標網頁發送Post請求
            Stream responseStream = response.GetResponseStream();

            //創建寫入流
            MemoryStream stream = new MemoryStream();

            byte[] bArr = new byte[1024];
            int size = responseStream.Read(bArr, 0, (int)bArr.Length);
            while (size > 0)
            {
                stream.Write(bArr, 0, size);
                size = responseStream.Read(bArr, 0, (int)bArr.Length);
            }
            stream.Seek(0, SeekOrigin.Begin);
            responseStream.Close();
            return stream;
        }
        #endregion

        #region HttpUploadFile 上傳文件
        /// <summary>
        /// Http上傳文件
        /// </summary>
        public static string HttpUploadFile(string url, byte[] bArr, string fileName)
        {
            // 設置參數
            HttpWebRequest request = WebRequest.Create(url) as HttpWebRequest;
            CookieContainer cookieContainer = new CookieContainer();
            request.CookieContainer = cookieContainer;
            request.AllowAutoRedirect = true;
            request.Method = "POST";
            string boundary = DateTime.Now.Ticks.ToString("X"); // 隨機分隔線
            request.ContentType = "text/plain;charset=utf-8";
            request.CookieContainer = m_Cookie;

            Stream postStream = request.GetRequestStream();
            postStream.Write(bArr, 0, bArr.Length);
            postStream.Close();

            //發送請求並獲取相應回應數據
            HttpWebResponse response = request.GetResponse() as HttpWebResponse;
            //直到request.GetResponse()程式才開始向目標網頁發送Post請求
            Stream instream = response.GetResponseStream();
            StreamReader sr = new StreamReader(instream, Encoding.UTF8);
            //返回結果網頁（html）代碼
            string content = sr.ReadToEnd();
            return content;
        }
        #endregion

        #region HttpPost
        /// <summary>
        /// HttpPost
        /// </summary>
        public static string HttpPost(string url, string data)
        {
            byte[] bArr = ASCIIEncoding.UTF8.GetBytes(data);

            // 設置參數
            HttpWebRequest request = WebRequest.Create(url) as HttpWebRequest;
            request.CookieContainer = m_Cookie;
            request.Method = "POST";
            request.ContentType = "application/x-www-form-urlencoded";
            request.ContentLength = bArr.Length;
            request.UserAgent = "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.0; Trident/4.0)";

            Stream postStream = request.GetRequestStream();
            postStream.Write(bArr, 0, bArr.Length);
            postStream.Close();

            //發送請求並獲取相應回應數據
            HttpWebResponse response = request.GetResponse() as HttpWebResponse;
            //直到request.GetResponse()程式才開始向目標網頁發送Post請求
            Stream responseStream = response.GetResponseStream();
            //返回結果網頁（html）代碼
            MemoryStream memoryStream = new MemoryStream();
            bArr = new byte[1024];
            int size = responseStream.Read(bArr, 0, (int)bArr.Length);
            while (size > 0)
            {
                memoryStream.Write(bArr, 0, size);
                size = responseStream.Read(bArr, 0, (int)bArr.Length);
                Thread.Sleep(1);
            }
            string content = Encoding.UTF8.GetString(memoryStream.ToArray());
            return content;
        }
        #endregion

        #region HttpPost
        /// <summary>
        /// HttpPost
        /// </summary>
        public static string HttpPost(string url)
        {
            // 設置參數
            HttpWebRequest request = WebRequest.Create(url) as HttpWebRequest;
            request.CookieContainer = m_Cookie;
            request.Method = "POST";
            request.ContentType = "text/plain;charset=utf-8";
            request.UserAgent = "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.0; Trident/4.0)";

            //發送請求並獲取相應回應數據
            HttpWebResponse response = request.GetResponse() as HttpWebResponse;
            //直到request.GetResponse()程式才開始向目標網頁發送Post請求
            Stream responseStream = response.GetResponseStream();
            //返回結果網頁（html）代碼
            MemoryStream memoryStream = new MemoryStream();
            byte[] bArr = new byte[1024];
            int size = responseStream.Read(bArr, 0, (int)bArr.Length);
            while (size > 0)
            {
                memoryStream.Write(bArr, 0, size);
                size = responseStream.Read(bArr, 0, (int)bArr.Length);
                Thread.Sleep(1);
            }
            string content = Encoding.UTF8.GetString(memoryStream.ToArray());
            return content;
        }
        #endregion

        #region HttpGet
        /// <summary>
        /// HttpGet
        /// </summary>
        public static string HttpGet(string url)
        {
            // 設置參數
            HttpWebRequest request = WebRequest.Create(url) as HttpWebRequest;
            request.CookieContainer = m_Cookie;
            request.Method = "GET";
            request.ContentType = "text/plain;charset=utf-8";
            request.UserAgent = "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.0; Trident/4.0)";

            //發送請求並獲取相應回應數據
            HttpWebResponse response = request.GetResponse() as HttpWebResponse;
            //直到request.GetResponse()程式才開始向目標網頁發送Post請求
            Stream responseStream = response.GetResponseStream();
            //返回結果網頁（html）代碼
            MemoryStream memoryStream = new MemoryStream();
            byte[] bArr = new byte[1024];
            int size = responseStream.Read(bArr, 0, (int)bArr.Length);
            while (size > 0)
            {
                memoryStream.Write(bArr, 0, size);
                size = responseStream.Read(bArr, 0, (int)bArr.Length);
                Thread.Sleep(1);
            }
            string content = Encoding.UTF8.GetString(memoryStream.ToArray());
            return content;
        }
        #endregion

    }
}
View Code

2、Windows服務代碼：

using System;
using System.Collections.Generic;
using System.ComponentModel;
using System.Configuration;
using System.Data;
using System.Diagnostics;
using System.Linq;
using System.Runtime.InteropServices;
using System.ServiceProcess;
using System.Text;
using System.Text.RegularExpressions;
using System.Threading;
using System.Threading.Tasks;
using System.Timers;
using System.Windows.Forms;
using Utils;

namespace BugMonitor
{
    public partial class BugMonitorService : ServiceBase
    {
        [DllImport("kernel32.dll", SetLastError = true)]
        public static extern int WTSGetActiveConsoleSessionId();

        [DllImport("wtsapi32.dll", SetLastError = true)]
        public static extern bool WTSSendMessage(
            IntPtr hServer,
            int SessionId,
            String pTitle,
            int TitleLength,
            String pMessage,
            int MessageLength,
            int Style,
            int Timeout,
            out int pResponse,
            bool bWait);

        public static IntPtr WTS_CURRENT_SERVER_HANDLE = IntPtr.Zero;

        private System.Timers.Timer timer;
        private static List<int> idList = new List<int>();

        private string loginUrl = ConfigurationManager.AppSettings["loginUrl"];
        private string listUrl = ConfigurationManager.AppSettings["bugListUrl"];
        private string userLogin = ConfigurationManager.AppSettings["userName"];
        private string userPassword = ConfigurationManager.AppSettings["userPassword"];
        private Regex regTr = new Regex(@"<tr class=""listTableLine(?:(?!</tr>)[\s\S])*</tr>", RegexOptions.IgnoreCase);
        private Regex regTd = new Regex(@"<td align=""left"">((?:(?!</td>)[\s\S])*)</td>", RegexOptions.IgnoreCase);
        private int pageSize = Convert.ToInt32(ConfigurationManager.AppSettings["pageSize"]);
        private double interval = Convert.ToDouble(ConfigurationManager.AppSettings["interval"]);
        private string projectId = ConfigurationManager.AppSettings["projectId"];

        public BugMonitorService()
        {
            InitializeComponent();
        }

        public static void ShowMessageBox(string message, string title)
        {
            int resp = 0;
            WTSSendMessage(
                WTS_CURRENT_SERVER_HANDLE,
                WTSGetActiveConsoleSessionId(),
                title, title.Length,
                message, message.Length,
                0, 0, out resp, false);
        }

        protected override void OnStart(string[] args)
        {
            LogUtil.path = Application.StartupPath + "\\log";

            timer = new System.Timers.Timer(interval * 60 * 1000);
            timer.Elapsed += new System.Timers.ElapsedEventHandler(Action);
            timer.Start();

            LogUtil.Log("服務啟動成功");
        }

        protected override void OnStop()
        {
            if (timer != null)
            {
                timer.Stop();
                timer.Close();
                timer.Dispose();
                timer = null;
            }

            LogUtil.Log("服務停止成功");

            Thread.Sleep(100); //等待一會，待日誌寫入文件
        }

        public void Start()
        {
            OnStart(null);
        }

        public void Action(object sender, ElapsedEventArgs e)
        {
            try
            {
                Task.Factory.StartNew(() =>
                {
                    try
                    {
                        int bugCount = 0;
                        string loginResult = HttpUtil.HttpPost(loginUrl, string.Format("uer={0}&userPassword={1}&submit=%E7%99%BB%E5%BD%95&userLogin={0}&uer=", userLogin, userPassword));

                        string result = HttpUtil.HttpPost(listUrl, string.Format("projectId={0}&perListDPF={1}&sortFieldDPF=bugCode&sortSequenceDPF=1&bugStatus=1", projectId, pageSize));
                        ProcessBug(result, ref bugCount);
                        result = HttpUtil.HttpPost(listUrl, string.Format("projectId={0}&perListDPF={1}&sortFieldDPF=bugCode&sortSequenceDPF=1&bugStatus=3", projectId, pageSize));
                        ProcessBug(result, ref bugCount);

                        if (bugCount > 0)
                        {
                            ShowMessageBox(string.Format("您有 {0} 個新BUG", bugCount), "提醒");
                        }
                        else
                        {
                            LogUtil.Log("沒有新BUG");
                        }
                    }
                    catch (Exception ex)
                    {
                        LogUtil.LogError(ex.Message + "\r\n" + ex.StackTrace);
                    }
                });
            }
            catch (Exception ex)
            {
                LogUtil.LogError(ex.Message + "\r\n" + ex.StackTrace);
            }
        }

        private void ProcessBug(string bugListPageHtml, ref int bugCount)
        {
            MatchCollection mcTr = regTr.Matches(bugListPageHtml);
            foreach (Match mTr in mcTr)
            {
                MatchCollection mcTd = regTd.Matches(mTr.Value);
                if (mcTd.Count > 0)
                {
                    int id = Convert.ToInt32(mcTd[0].Groups[1].Value.Trim());
                    string strStatus = mcTd[1].Value.ToLower();
                    if (!idList.Exists(a => a == id))
                    {
                        if (strStatus.IndexOf("已激活") > 0 || strStatus.IndexOf("重新打開") > 0)
                        {
                            idList.Add(id);
                            bugCount++;
                            LogUtil.Log(string.Format("發現新的BUG，BUG編號：{0}", id));
                        }
                    }
                }
            }
        }
    }
}
View Code

 


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • C# 實現FTP客戶端
    本文是利用C# 實現FTP客戶端的小例子，主要實現上傳，下載，刪除等功能，以供學習分享使用。 思路： 涉及知識點： 效果圖如下 左邊：雙擊文件夾進入子目錄，點擊工具欄按鈕‘上級目錄’返回。文件點擊右鍵進行操作。 右邊：文件夾則點擊前面+號展開。文件則點擊右鍵進行上傳。 核心代碼如下 1 using ...
  • git 本地分支與遠程分支 新建/刪除/合併
    github上已經有master分支 和dev分支 在本地 git checkout b dev 新建並切換到本地dev分支 git pull origin dev 本地分支與遠程分支相關聯 在本地新建分支並推送到遠程 git checkout b test git push origin test ...
  • 動態執行 VB.NET 和 C# 代碼
    有時候我們需要嘗試動態地與一些代碼進行交互，而不是只能執行程式內已編死的代碼，那該怎麼辦呢？我首先推薦各種腳本語言，如Javascript、Lua、Python等等，這些腳本語言有很多優秀的第三方類庫，可以很方便的與 .NET 系統集成，讓我們的程式中執行動態代碼。 但如果你一定想用VB.NET或者 ...
  • C#請求http post和get
    首先先要感謝博主小偉地方提供的博客，讓我解決了問題。 同樣是先提問題，我們要請求http乾什麼？ 通過請求http，傳入我的參數，我希望能夠獲取到項目裡面的某些數據，比如這裡，我們需要得到SceneList。 1.參數，傳入catagoryid可以得到在這個分類下的場景列表 2.在控制台，把場景列表 ...
  • 特殊引用類型（string）
    自己先心裡猜猜param1、param2、list count是什麼值， 按照邏輯思維想既然是引用類型那麼輸出結果應該為：param1：200、param2："hello"、list count ：2； 實際上並不是我們邏輯思維的那樣，因為string類型比較特殊（MSDN上這樣解釋：字元串對象是不 ...
  • C# 代碼規範和質量檢查工具 StyleCop.Analyzers
    簡介 原來一直用 ReSharper 來進行代碼質量檢查，不過畢竟是收費的，所以想找個免費的可以推廣給公司的同事也一起用。搜索了一下，找到了StyleCop，但是我在 VS 2015里安裝 StyleCop 或者通過 Nuget 包安裝 StyleCop.MSBuild，雖然編譯以後能把 warni ...
  • C#窗體控制項GroupBox修改邊框色
    控制項Group Box預設的邊框的顏色是白色的，在很多時候顯得不那麼突出。但預設的屬性列表裡面並沒有提供相應的介面。所以只能藉助重繪事件。 網上很多都說使用 OnPaint 事件，但是我在事件列表中沒找到，應該是隱藏得太深了（需要用 override 關鍵字來重寫）。我這裡直接使用了 Paint 事 ...
  • 關於StreamReader.ReadToEnd方法
    以前寫抓取網頁的代碼喜歡用ReadToEnd，因為簡單省事，後來發現，在爬取網頁的時候，如果網速很慢，ReadToEnd超時的幾率很大。使用Read改寫後，超時幾率大大減小，完整代碼如下： /// <summary> /// HttpPost /// </summary> public static ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發（一）：使用.NET MAUI開發第一個安卓APP
    移動開發（一）：使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說，近來想嘗試開發一款安卓APP，考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP，畢竟是使用Visual Studio開發工具，使用起來也比較的順手，結合微軟官方的教程進行了安卓 ...
  • wpf ToggleButton選中效果和一個登錄界面
    前言 QuestPDF 是一個開源 .NET 庫，用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫，它徹底改變了我們生成 PDF 文檔的方 ...
  • 彈幕樹洞項目功能新增篇
    項目地址 項目後端地址： https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址： ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址： http://tree ...
  • 第27篇 sqlserver2022詳細安裝步驟
    話不多說，直接開乾 一.下載 1.官方鏈接下載： https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe，運行開始下載SQL server； 二. ...
  • .NET 開源高性能 MQTT 類庫
    前言 隨著物聯網（IoT）技術的迅猛發展，MQTT（消息隊列遙測傳輸）協議憑藉其輕量級和高效性，已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫，為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog文檔翻譯系列（六） - 可用的接收器、增強器、格式化輸出
    Serilog支持多種接收器用於日誌存儲，增強器用於添加屬性，LogContext管理動態屬性，支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項，適用於不同需求。 ...
  • 警惕 Visual Studio 屬性求值副作用導致邏輯不符合預期
    目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據，爬取信息時需要模擬瀏覽器行為，否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下： 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • [使用目前最新版]HybridCLR6.9.0+YooAsset2.2.4實現純C# Unity熱更新方案 (一)
    1.前言 什麼是熱更新 游戲或者軟體更新時，無需重新下載客戶端進行安裝，而是在應用程式啟動的情況下，在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR，Xlua，ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles，Addressable， ...
  • 在 ASP.NET Core Web API 中使用操作篩選器統一處理通用操作
    本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺，其實像阿裡雲，騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後，它會送 ...
  • 第28篇 如何.net中實現高效可靠數據同步api
    通過以下方式可以高效，並保證數據同步的可靠性 1.API設計 使用RESTful設計，確保API端點明確，並使用適當的HTTP方法（如POST用於創建，PUT用於更新）。 設計清晰的請求和響應模型，以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證，確保接收到的數據符合預期格 ...
所有分類