rsyslog+mysql+loganalyzer搭建日誌伺服器<個人筆記>

来源:http://www.cnblogs.com/drgcaosheng/archive/2016/09/02/5832697.html
-Advertisement-
Play Games

大概思路如下: 使用Linux自帶的rsyslog服務來做底層,然後再使用mysql與rsyslog的模板來存儲文件,並且以web來進行顯示出來。<模板的存儲以日期的樹形結構來存儲,並且以伺服器客戶端IP為文件名進行劃分。 最終的效果如下圖: 大概步驟如下: 1.配置好rsyslog server的 ...


大概思路如下: 使用Linux自帶的rsyslog服務來做底層,然後再使用mysql與rsyslog的模板來存儲文件,並且以web來進行顯示出來。<模板的存儲以日期的樹形結構來存儲,並且以伺服器客戶端IP為文件名進行劃分。   最終的效果如下圖:     大概步驟如下: 1.配置好rsyslog server的服務 2.配置好lamp架構 3.安裝好Loganalyzer日誌web 4.建好web許可權控制   一、配置好rsyslog server的服務 以下為/etc/rsyslog.conf的配置文件,自行修改為以下的配置。
[root@localhost ~]# grep -v '^#' /etc/rsyslog.conf|grep -v '^$'
$ModLoad ommysql
*.* :ommysql:localhost,Syslog,rsyslog,123456
$ModLoad imuxsock # provides support for local system logging (e.g. via logger command)
$ModLoad imklog # provides kernel logging support (previously done by rklogd)
$ModLoad immark # provides --MARK-- message capability
$ModLoad imudp
$UDPServerRun 514
$ModLoad imtcp
$InputTCPServerRun 514
$ActionFileDefaultTemplate RSYSLOG_TraditionalFileFormat
$template DynamicFile,"/var/log/ttlogs/%$YEAR%/%$MONTH%/%$DAY%/%fromhost-ip%-test.log"
*.* ?DynamicFile
$IncludeConfig /etc/rsyslog.d/*.conf
*.info;mail.none;authpriv.none;cron.none /var/log/messages
authpriv.* /var/log/secure
mail.* -/var/log/maillog
cron.* /var/log/cron
*.emerg *
uucp,news.crit /var/log/spooler
local7.* /var/log/boot.log
[root@localhost ~]#
# /etc/init.d/rsyslog restart #重啟下rsyslog的服務
#chkconfig rsyslog on #設置開機啟動
# netstat -tpnl #檢查rsyslogd服務是否正常啟動,514埠
#logger 'test_samcao' #發送測試日誌測試
#tail -f /var/log/messages #查看是否有測試信息,上面的有添加mysql的介面,會有錯誤提示但不影響

 

註:需要註意下rsyslog的版本,有些版本的配置不太一樣。會有問題,在此需要根據 /var/log/message中的日誌信息進行排查,在此第一步配置rsyslog server就配置完了   二、準備配置LAMP環境 下麵的這步可以直接簡單的搭建好LAMP的環境
#yum -y install httpd mysql mysql-server php php-mysql postgresql postgresql-server php-postgresql php-pgsql php-devel gd gd-devel php-gd
#/etc/init.d/httpd start
#/etc/rc.d/init.d/mysqld start
#/usr/bin/mysqladmin -u root password 'new-password'

   三、安裝好Loganalyzer日誌web

#wget http://download.adiscon.com/loganalyzer/loganalyzer-3.6.5.tar.gz
#tar zxvf loganalyzer-3.6.5.tar.gz
#cd loganalyzer-3.6.5
# mkdir -p /var/www/html/loganalyzer
# rsync -a src/* /var/www/html/loganalyzer/
# touch /var/www/html/loganalyzer/config.php
# chmod 666 /var/www/html/loganalyzer/config.php

 

然後就是訪問 http://192.168.1.213/loganalyzer 頁面進行web安裝的操作了。這個我忽略了。圖太多。而且我已經安裝完了。再截圖太麻煩。可以看這個鏈接: http://www.cnblogs.com/mchina/p/linux-centos-rsyslog-loganalyzer-mysql-log-server.html 註:上面安裝的時候註意下,資料庫如果沒有需要自己手動建一下,還有數據表的名稱的大小寫。還有gd庫的支持打開/etc/php.ini將 gd.jpeg_ignore_warning = 0這行的註釋取消掉 四、建好web許可權控制 預設可以直接打開web頁面查看日誌,可能有時候需要進行相關的許可權設置,沒有再深入研究loganalyzer,在此直接使用apache的密碼來處理了下這個問題 1. 將http.conf中的AllowOverride all
[root@logserver ~]# cat /var/www/html/.htaccess 
AuthName "Login"
AuthType basic
AuthUserFile "/var/webuser"
require valid-user
[root@logserver ~]#

 

4.使用後面會提示需要輸入密碼.直接輸入密碼即可.但是需要添加多個用戶的時候不可使用上面的命令.其中-c表示需要創建一個加密文件,可使用 htpasswd -mdps /var/webuser cs來進行添加賬號. 這樣就完事了.最後在訪問web的時候,會提示需要輸入密碼。輸入然後就可以正常的訪問了。   其中有些配置信息上面沒有說清楚,如果有需要的同學可以看下下麵的一些鏈接 : https://linux.cn/article-5023-1.html 在 Linux 上配置一個 syslog 伺服器 http://www.cnblogs.com/mchina/p/linux-centos-rsyslog-loganalyzer-mysql-log-server.html CentOS 6.5下利用Rsyslog+LogAnalyzer+MySQL部署日誌伺服器   其它的還有一些官方的鏈接,在此就不帖了,有問題自行百度去吧。這個只是我自己的一個記錄。

 

[root@localhost ~]# grep -v '^#' /etc/rsyslog.conf |grep -v  '^$'
$ModLoad imuxsock # provides support for local system logging (e.g. via logger command)
$ModLoad imklog   # provides kernel logging support (previously done by rklogd)
$ActionFileDefaultTemplate RSYSLOG_TraditionalFileFormat
$IncludeConfig /etc/rsyslog.d/*.conf
*.info;mail.none;authpriv.none;cron.none                /var/log/messages
authpriv.*                                              /var/log/secure
mail.*                                                  -/var/log/maillog
cron.*                                                  /var/log/cron
*.emerg                                                 :omusrmsg:*
uucp,news.crit                                          /var/log/spooler
local7.*                                                /var/log/boot.log
module(load="imfile" PollingInterval="10")
input(type="imfile"
    File="/usr/local/u-mail/service/nginx/logs/access.log"
    StateFile="/var/spool/rsyslog/statefile1"
    Tag="tag1"
    Severity="access"
    Facility="local7")
local7.*    @192.168.1.213:514
*.*    @192.168.1.213
[root@localhost ~]# 

 

     
您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 這幾天一直在學習C++下使用Mysql的方法及其中各種的問題,也看了很多Mysql的API函數,當然自己看的還是很基礎的。其實對於每種資料庫的操作,基本的方法都是非常類似的,大多都是connect,select,update,delete以及insert這幾個操作。接下來我就將這幾個步驟以代碼的方式 ...
  • 回到目錄 對於redis-sentinel我在之前的文章中已經說過,它是一個仲裁者,當主master掛了後,它將在所有slave伺服器中進行選舉,選舉的原則當然可以看它的官方文章,這與我們使用者沒有什麼關係,而對於sentinel來說,它在進行主從切換時,會觸發相關事件,這是和我們開發人員有關係的, ...
  • (一)深入淺出理解索引結構 實際上,您可以把索引理解為一種特殊的目錄。微軟的SQL SERVER提供了兩種索引:聚集索引(clustered index,也稱聚類索引、簇集索引)和非聚集索引(nonclustered index,也稱非聚類索引、非簇集索引)。下麵,我們舉例來說明一下聚集索引和非聚集 ...
  • 要獲取什麼樣的數據? 我們要獲取的數據,是指那些公開的,可以輕易地獲取地數據.如果你有完整的數據集,肯定是極好的,但一般都很難通過還算正當的方式輕易獲取.單就本系列文章要研究的實時招聘信息來講,能獲取最近一個月的相關信息,已是足矣. 如何獲取數據? 爬蟲,也是可以的,作為一個備選方案.但是,我註意到 ...
  • 當天: select * from T_news where datediff(day,addtime,getdate())=0 最近三天: select * from T_news where datediff(day,addtime,getdate())<= 2 and datediff(day ...
  • 參見 HDP2.4安裝(五):集群及組件安裝 ,安裝配置的spark版本為1.6, 在已安裝HBase、hadoop集群的基礎上通過 ambari 自動安裝Spark集群,基於hadoop yarn 的運行模式。 目錄: Spark集群安裝 參數配置 測試驗證 Spark集群安裝: 在ambari ...
  • Spark 作為一個以擅長記憶體計算為優勢的計算引擎,記憶體管理方案是其非常重要的模塊; Spark的記憶體可以大體歸為兩類:execution和storage,前者包括shuffles、joins、sorts和aggregations所需記憶體,後者包括cache和節點間數據傳輸所需記憶體;在Spark 1 ...
  • 瞭解Hive的都知道Hive有三種使用方式——CLI命令行,HWI(hie web interface)瀏覽器 以及 Thrift客戶端連接方式。 為了體驗下HWI模式,特意查詢了多方的資料,都沒有一個完整的部署方案,經過一下午的踩坑,這裡特意總結一下,希望為後人節省點時間。 先放個圖興奮一下! 參 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...