在眾多的軟體分類中,有幾類的軟體不是很重要,但也很重要。它們有的是每隔一段時間需要執行一些任務的軟體,我們叫它定時類軟體;還有一種軟體是採集網頁中的數據,我們叫它採集類軟體。 ...
1系統簡介
1.1功能簡述
在眾多的軟體分類中,有幾類的軟體不是很重要,但也很重要。它們有的是每隔一段時間需要執行一些任務的軟體,我們叫它定時類軟體;還有一種軟體是採集網頁中的數據,我們叫它採集類軟體。
本產品是任務管理器,包括上述2種軟體
同步服務,可以根據配置好的時間間隔執行任務。可以每隔一段時間,也可以在某個時間點執行
採集服務,可以採集指定頁面的數據,用於大數據分析。可根據網址直接採集,也可以可視化採集(如:淘寶中我的訂單,就是需要登錄才能採集)
1.2運行環境
.NET Framework 4.0
1.3使用方法
雙擊軟體圖標,打開登錄頁面,驗證成功後彈出如圖1-1所示
圖1-1
1.4產品亮點
l 定時模塊,任務類型包括:間隔時間和時間點
l 採集模塊,支持可視化採集和非可視化採集
l 完善的日誌模塊幫助問題的定位和解決
2同步服務
2.1配置同步項
只要定義好同步項,這些同步項可保存至記憶體中,也可以存儲在資料庫中。用於定義有哪些任務需要定時執行
2.2運行同步項
如上圖所示
1, 記錄同步項的開始和結束時間,定時執行次數,還有配置項,如:間隔時間,時間點等
2, 最下麵的日誌用於輸出同步項的操作結果
2.3定時郵件
是指程式每間隔一定時間,向系統管理員發送郵件。以通知管理員系統運行正常
2.4配置採集項
是採集模塊範圍,下一部分詳細描述
3數據採集
3.1主界面
圖3-1
如上圖所示
1. 本產品已經內置幾個採集模板,如:博客園、糗事百科、淘寶網和1688(需登錄後可視化採集)
2. 選中某個採集模板,點擊:創建,相當於創建了這個模板的一個實例(可同時創建多個)
3. 再選中某個實例,點擊:開始。實現採集數據
3.2創建實例
3.3開始採集
如上圖所示
點擊開始後,實現數據採集
3.4採集結果
3.5可視化採集
若是可視化採集,點擊:開始的時候,會自動彈出可視化採集頁面(註:有的需要登錄)
3.5.1調試
l 取分頁數:是指獲取有多少分頁,如下圖所示
l 採集當頁:是指只採集當前頁數據,如下圖所示
l 下一頁:是指當前頁採集完成後,直接觸發:下一頁按鈕,實現頁面翻轉
3.5.2登錄帳戶
是指登錄的帳戶和密碼,可直接複製。當然,需要提前配置好才行
3.5.3採集
採集是指採用調試中的方式,實現對所有頁面的採集。步驟如下
a. 先獲取有多少分頁
b. 迴圈從第1頁開始採集
c. 當前頁採集成功後,再觸發下一頁按鈕,採集第2頁,直至所有頁面均採集完成
3.6組件化開發
無論是可視化採集,還是非可視化採集。均已實現組件化開發。如:採集頁面只有一個,不同的採集模板,只需傳入不同的參數即可實現
4FAQ
4.1FAQ1
問:若360安全衛士開啟時,會彈出是否允許此程式運行,如圖8-1所示
圖8-1
答:選擇:一直允許運行(加入白名單)
4.2FAQ2
問:可視化採集頁面中的瀏覽器控制項用的是哪個?
答:可視化採集控制項採用的是微信自帶的WebBrowser控制項,在Win7或Win10系統中,它需要修改註冊,來保證使用的IE內核與系統的IE內核保持一致
5後記
對本產品感興趣的,可以加我微信號(xiyang1011或13867408830)私聊