awk文本處理

awk文本處理
基於模式匹配檢查輸入文本，逐行處理並輸出
通常用在shell腳本中，獲取指定的數據
單獨用時，可對文本數據做統計

一、語法格式
格式1：命令 | awk [選項] '[條件]{編輯指令}'
格式2：awk [選項] '[條件]{編輯指令}' 文件..
若有多條語句，可用分號分隔
print是最常用的指令

# awk -F ";" '{print $1,$2}' /etc/passwd
root x
bin x
.. ..

二、常用命令選項
-F:指定分隔符，可省略（預設空格或Tab位）
cat m.txt
11111111 Caremi
222 IT Group

#awk'{print $1}' m.txt
11111111
222
#awk -F "r" '{print $1}' m.txt
11111111 Ta
222 IT G

#df -hT /boot | tail -1 //第一行
#df -hT /boot | tail -1 | awk '{print $6}' //第一行第六列

# head -5 /etc/passwd | awk -F:(分隔符可以緊挨-F) '{print $1,$7}'

三、awk內置變數
FS 保存或設置欄位分隔符，例如FS=":"
$n 指定分隔的第n個欄位，如$1、$3分別表示第1、3列
$0 當前讀入的整行文本內容
NF 記錄當前處理行的欄位個數（列數）
NR 記錄當前已讀入行的數量（行數）
FNR 保存當前處理行在原文本內的序號（行號）

#awk '{print "第"FNR"行","有"NF"列"}' m.txt
#awk '{print "Last:"$NF}' m.txt //$NF表示每行最後一個欄位
#awk -F: '$1==ENVIRON["USER"]{print $3}' \
/etc/passwd //輸出當前用戶的UID信息
四、awk處理的時機
1.行前處理，BEGIN{}
讀入第一行文本之前的執行
一般用來初始化操作
2.逐行處理，{}
逐行讀入文本執行相應的處理
是最常見的編輯指令塊
3.行後處理，END{}
處理完最後一行文本之後執行
一般用來輸出處理結果

1-3可單獨使用，也可以一起使用

#awk 'BEGIN {a=34;print a+12}' //預處理不需要數據文件
#awk 'BEGIN{x=0}/\<bash$/{x++}\
END{print x}' /etc/passwd //統計使用bash的用戶個數
#awk 'BEGIN{print NR}END{print NR}' m.txt //預處理時，行數為0
//全部處理完以後，行數為已讀入的行數
五、awk處理條件
1.條件的表現形式
（1）正則表達式
/正則表達式/
~ 匹配
!~ 不匹配
#awk -F:'/^ro/{print}' /etc/passwd //列出以ro開頭的記錄
#awk -F: '$7!~/bash$/{print $1,$7}' /etc/passwd
//列出第7個欄位不以bash結尾的用戶名、登錄shell
（2）數值/字元串比較
==;!=;>;>=;<;<=
cat reg.txt
abcd XX
XX
abcabcd XX
#awk 'NR==2{print}' reg.txt //XX
#awk '$2!="XX"{print}' reg.txt //XX，輸出第2列不是XX的行
#awk 'NF>=2{print}' reg.txt //輸出含2個及以上欄位的行
abcd XX
abcabcd XX
（3）邏輯比較
&&：期望多個條件都成立;||：只要有一個條件成立即滿足要求
#awk -F:'$3>=0&&3<2{print $1,$3}' \
/etc/passwd //列出UID小於2的用戶信息
root 0
bin 1

#awk -F: '$3==1||$3==7{print $1,$3}' \
/etc/passwd //列出UID為1或7的用戶信息
bin 1
halt 7
（4）運算符
+,-,*,/,%,++,--,+=,-=,*=,/=
#awk 'NR%2==1{print}' reg.txt //輸出奇數行文本
abcd XX
abcabcd XX

#awk 'BEGIN{i=0}{i+=NF} END{print i}' reg.txt //統計文本的總欄位個數
5

#seq 200 | awk 'BEGIN{i=0}{$0%3==0}&&\
{$0%13==0}{i++} END{print i}' //計算能同時被3和13整除的整數個數