需求是統計某個業務的訪問個數日誌伺服器上的目錄結構是如下,搜索最近7天的指定關鍵字數據,併排重統計個數: for迴圈的一行表示形式for ((i=15;i<=21;i++));do xxx;donewhile迴圈的一行表示 while true;do xxx;done獲取當前年月`date +%Y- ...
需求是統計某個業務的訪問個數日誌伺服器上的目錄結構是如下,搜索最近7天的指定關鍵字數據,併排重統計個數:
drwxr-xr-x 2 root root 4096 Nov 15 08:00 2019-11-15 drwxr-xr-x 2 root root 4096 Nov 16 08:00 2019-11-16 drwxr-xr-x 2 root root 4096 Nov 17 08:00 2019-11-17 drwxr-xr-x 2 root root 4096 Nov 18 08:00 2019-11-18 drwxr-xr-x 2 root root 4096 Nov 19 08:00 2019-11-19 drwxr-xr-x 2 root root 4096 Nov 20 08:00 2019-11-20 drwxr-xr-x 2 root root 4096 Nov 21 08:00 2019-11-21 drwxr-xr-x 2 root root 4096 Nov 22 08:00 2019-11-22 [root@mail tmp]# ll /data1/mailLog/app/kafka/2019-11-22/ total 5708872 -rw-r--r-- 1 root root 4847545594 Nov 22 2019 api-mail-sina-com-cn.log
for迴圈的一行表示形式for ((i=15;i<=21;i++));do xxx;done
while迴圈的一行表示 while true;do xxx;done
獲取當前年月`date +%Y-%m`
grep -oP只顯示正則匹配到的內容
uniq|sort -u是去重
for ((i=15;i<=21;i++));do cat `date +%Y-%m-$i`/api-mail-sina-com-cn.log|grep -oP "appid=2026078627&uid=\d+"|uniq|sort -u >/tmp/`date +%Y-%m-$i`.android.log;done
把匹配到的日誌去重放入了/tmp/2019-11-22.android.log
wc -l *.android.log 87851 2019-11-15.android.log 78686 2019-11-16.android.log 76190 2019-11-17.android.log 90938 2019-11-18.android.log 91705 2019-11-19.android.log 91388 2019-11-20.android.log 91796 2019-11-21.android.log
如果有不同的關鍵字,就多加幾個grep,類似下麵這個
for ((i=15;i<=21;i++));do cat `date +%Y-%m-$i`/api-mail-sina-com-cn.log|grep "2026078627"|grep "active_client"|grep -oP "device_id=[^&]+|uniq|sort -u >/tmp/`date +%Y-%m-$i`.android.device.log;done
