文件操作 help——列出cygwin支持的所有命令 pwd——顯示當前的路徑 ls——顯示當前文件夾中的所有文件 mkdir——建立目錄 rmdir——刪除目錄 rm——刪除文件 cat bj.log ——打開文件 grep 查找命令 cat bj.log grep Baiduspider >xi ...
文件操作
help——列出cygwin支持的所有命令
pwd——顯示當前的路徑
ls——顯示當前文件夾中的所有文件
mkdir——建立目錄
rmdir——刪除目錄
rm——刪除文件
cat bj.log ——打開文件
-----------------------------------------------------------------------------------------------------------------------
grep 查找命令
cat bj.log grep Baiduspider >xin.log——查找包含Baiduspider的數據並導入到xin.log文件中
-----------------------------------------------------------------------------------------------------------------------
wc 統計命令
wc -l log.log ——統計文件行數
wc -c log.log ——統計文件位元組數
wc -w log.log ——統計文件單詞數
-----------------------------------------------------------------------------------------------------------------------
綜合查詢
cat baidu.log|awk '{if($9 ~"200") print $7}'|wc -l ——查詢日誌文件中200狀態碼的行數
cat baidu.log|grep 'Baiduspider'|awk '{if($9 ~"200") print $7}'|wc -l ——查詢日誌文件中包含Baiduspider且狀態碼為200的行數
cat baidu.log | awk '{if ($9 ~"200") print $4}'|awk -F ":" '{print $2}'|sort|uniq -c|sort -nrk 1,1|less ——查詢日誌文件中200狀態碼的訪問時間排行
cat baidu.log|awk '{if ($9~ "200") print $7}'||sort|uniq -c|sort -nrk 1,1|less ——查看網站訪問最多的鏈接
cat baidu.txt|awk ‘{print $9}’|sort|uniq -c ——判斷404情況：統計狀態碼的指令
cat 404.txt|awk ‘{print $7}’>>baidu404.txt ——導出鏈接
cat baidu.txt|awk ‘{print $7}’|sort|uniq -c ——查看一個鏈接被重覆抓取的次數
cat sougou.log|awk '{print $9}'|sort|uniq -c ——統計所有狀態碼數量
cat spz.log awk '{print $1}' |sort |uniq|wc -l ——統計有多少IP訪問
cat baidu.log | awk ‘{print $1}’ | sort | uniq -c | sort -k1r ——每個IP訪問次數
