日誌對大型應用系統或者平臺尤其重要，系統日誌採集、分析是系統運維、維護及用戶分析的基礎。 一、系統日誌分類 一般系統日誌可分為三大類： 1、用戶行為日誌：通過採集系統用戶使用系統過程中，一系列的操作日誌。 2、業務變更日誌：特定業務場景需要，採集某用戶在某時使用某功能，對某業務（對象、數據）進行某操 ...
日誌對大型應用系統或者平臺尤其重要，系統日誌採集、分析是系統運維、維護及用戶分析的基礎。
一、系統日誌分類
一般系統日誌可分為三大類：
1、用戶行為日誌：通過採集系統用戶使用系統過程中，一系列的操作日誌。
2、業務變更日誌：特定業務場景需要，採集某用戶在某時使用某功能，對某業務（對象、數據）進行某操作，由A變成B。
3、系統運行日誌：系統運行伺服器資源、網路及基礎中間件的情況進行定時採集日誌分析。
二、常見日誌分析應用場景
日誌採集分析是由需求驅動，根據某種場景的需要日誌採集，採集的日誌進行針對性的分析。一般常見的日誌分析結果應用場景有：
1、分析系統或者平臺哪些功能是最受歡迎：什麼時候使用最多用戶使用，某個區域、某類用戶使用最多。有利於功能推廣；有利於提升伺服器資源從而提高用戶體驗。
2、內容推薦：根據用戶平常閱讀內容，採集相關日誌，並通過分析後，將用戶感興趣的內容系統自動推薦給用戶，從而提升用戶站粘性。
3、系統審計：對於應用系統，採集操作日誌、業務變更日誌，有利於備查及提供相關安全審計功能。
4、自動化運維：場景微服務架構的系統或者平臺，對運維投入的要求高，自動化部署和運維，可以減少運維的工作量和壓力。系統運行環境日誌採集、分析，可實現預警、伺服器資源動態調配，有利於快速定位排查故障。
不同系統的運行環境、功能應用場景及需要採集分析日誌的需求也各不相同。日誌內容、採集方式存在多樣性，日誌數據量大，所以需要設計一套日誌採集系統，滿足日誌採集需求，支持便捷將分析結果反捕於應用功能。
三、日誌採集系統總體設計
基於以上日誌採集的初步分析，尤其微服務架構中，微服務治理能力、服務負載需要依賴服務日誌的採集分析，所以日誌採集子系統是微服務架構的基礎支持功能。日誌採集系統總體設計如下：
圖1- 日誌採集系統總體框架示意圖
如上圖所示，根據日誌整個過程，系統由三部分組成：日誌採集、日誌存儲&分析及結果應用。日誌採集主要負責提供多種方式進行採集日誌；日誌存儲&分析主要實現分析統一存儲和定製的場景分析日誌；結果應用實現將日誌分析結果提供服務介面或者預設的管理功能，供應用功能使用。
日誌採集整體過程：日誌採集後，通過線上或者離線傳輸到消息隊列，由日誌消費應用拉取後進行存儲。根據分析需要定製自動作業任務實現日誌數據抽取、轉換、統計後，將結果數據寫入關係型資料庫。提供服務介面或者日誌查詢預設管理功能進行使用。
1、日誌採集
日誌採集實現三種方式進行採集日誌：
（1）WebAPI方式：實現基於http協議 restful方式採集日誌數據，併發送至消息隊列。主要用於提供移動端、微信公眾號及小量日誌採集使用，在NET分散式系統上可結合“API網關”使用。
（2）Service Proxy方式：基於log4.net優秀的日誌組件和消息隊列客戶端驅動，進行封裝為日誌記錄服務代理，提供便捷、統一的介面供應用進行使用。支持將日誌記錄到應用本地和線上實時發送至消息隊列，其中記錄到應用本地，可結合第三種方式完成應用功能日誌採集的功能。
（3）LCClient方式：實現客戶端批量抓取日誌數據，發送至LCServer。LCClient客戶端基於TCP協議與LCServer服務端進行通信，基於NIO框架構建，可支持高併發處理能力。LCServer再將日誌數據寫入消息隊列。
日誌採集通過提供三種方式，滿足不同的業務應用場景使用採集日誌。
2、日誌存儲&分析
日誌存儲及分析由五部分構成：消息隊列（MQ）、日誌接收服務端（LCServer）、日誌存儲（Elasticsearch）、任務作業（Quartz.net）及關係型資料庫（MySQL）。
（1）消息隊列（MQ）：日誌通過消息隊列實現消息統一接收，做一道緩衝，滿足日誌數據併發接收能力。
（2）日誌接收服務端（LCServer）：接收LCClient客戶端批量發送日誌數據，並將其發送至消息隊列。
（3）日誌存儲（Elasticsearch）：選用ES做日誌存儲，主要考慮ES是一種文檔化分散式搜索服務，支持PB級的數據存儲，支持上百個節點的分散式集群能力，並且提供豐富的API使用，數據查詢方面有著優越的性能。
（4）任務作業（Quartz.net）：通過定製化開發作業任務實現對ES日誌數據抽取、轉換、分析後，將結果存儲於關係型資料庫。Quartz.net中間件是業界公認的作業任務組件。
（5）關係型資料庫（MySQL）：實現日誌結果數據存儲，供日誌應用查詢使用。MySQL有著優越的主從複製機制，可解決單節點查詢性能瓶頸，同時提供傳統SQL腳本操作數據的能力，提供開發效率。
日誌數據存儲和分析後，最終目的就是提供與應用功能使用。
3、分析結果應用
分析結果應用主要提供服務介面和管理功能兩種方式。
（1）服務介面方式：基於http協議以restful方式提供介面，支持應用功能方便調用。
（2）管理模塊方式：預設提供一套日誌查詢管理功能，方便於應用直接集成使用。
四、總結
日誌採集本身也是一個分散式系統，服務端每個節點都支持分散式集群部署，可實現高併發、高可用性。本文只是一種拋磚引玉，系統每個組件還需要深化詳細，同時也包括實施部署。
作者:劉蔡濤
出處：http://www.cnblogs.com/Andon_liu
關於作者：專註於微軟平臺項目架構、管理。熟悉設計模式、領域驅動、架構設計、敏捷開發和項目管理。現主要從事ASP.NET MVC、WCF/Web API、SOA、MSSQL、redis方面的項目開發、架構、管理工作。 如有問題或建議，請一起學習討論！
本文版權歸作者和博客園共有，歡迎轉載，但未經作者同意必須保留此段聲明，且在文章頁面明顯位置給出原文連接。
如有問題，可以郵件：[email protected] 聯繫我，謝謝。
微信號： 
