文本三劍客之awk

来源:https://www.cnblogs.com/yongbuyanbai0/archive/2019/10/15/11681145.html
-Advertisement-
Play Games

awk介紹 awk的工作原理 awk基本格式 awk之print格式 awk變數 awk之printf awk操作符 awk PATTERN awk action awk控制語句 awk控制語句if-else awk控制語句 while迴圈 awk控制語句do-while迴圈 awk控制語句 for ...


awk介紹

1     awk:Aho, Weinberger, Kernighan,報告生成器,格式化文本輸出 
2     有多種版本:New awknawk),GNU awkgawk3     gawk:模式掃描和處理語言 
4     基本用法: 
5         awk [options] 'program' var=value file6         awk [options] -f programfile var=value file7         awk [options] 'BEGIN{action;… }pattern{action;… }END{action;… }' file ... 
8         awk 程式可由:BEGIN語句塊、能夠使用模式匹配的通用語句塊、END語句塊,共3部分組成 
9         program (程式)通常是被放在單引號中 

awk的工作原理

 1     第一步:執行BEGIN{action;… }語句塊中的語句 
 2     第二步:從文件或標準輸入(stdin)讀取一行,然後執行pattern{ action;… }語句塊,
 3         它逐行掃描文件,從第一行到最後一行重覆這個過程,直到文件全部被讀取完畢。  
 4     第三步:當讀至輸入流末尾時,執行END{action;…}語句塊 
 5     BEGIN語句塊在awk開始從輸入流中讀取行之前被執行,這是一個可選的語句塊,
 6         比如變數初始化、列印輸出表格的表頭等語句通常可以寫在BEGIN語句塊中 
 7     END語句塊在awk從輸入流中讀取完所有的行之後即被執行,比如列印所有行的
 8         分析結果這類信息彙總都是在END語句塊中完成,它也是一個可選語句塊  
 9     pattern語句塊中的通用命令是最重要的部分,也是可選的。如果沒有提供
10         pattern語句塊,則預設執行{ print },即列印每一個讀取到的行,awk讀取的每
11         一行都會執行該語句塊 

awk基本格式

 1     基本格式:awk [options] 'program' file 2     Program:pattern{action statements;..} 
 3     pattern和action 
 4         pattern部分決定動作語句何時觸發及觸發事件 
 5             BEGIN,END 
 6         action statements對數據進行處理,放在{}內指明 
 7             print, printf 
 8     分割符、域和記錄 
 9         awk執行時,由分隔符分隔的欄位(域)標記$1,$2...$n稱為域標識。$0為所有域,註意:此時和shell中變數$符含義不同 
10         文件的每一行稱為記錄 
11         省略action,則預設執行 print $0 的操作 

awk之print格式

 1     print格式:print item1, item2, ... 
 2     要點: 
 3         (1) 逗號分隔符 
 4         (2) 輸出item可以字元串,也可是數值;當前記錄的欄位、變數或awk的表達式 
 5         (3) 如省略item,相當於print $0 
 6     示例: 
 7         awk '{print "hello,awk"}' 
 8         awk –F: '{print}' /etc/passwd 
 9         awk –F: ‘{print “wang”}’ /etc/passwd 
10         awk –F: ‘{print $1}’ /etc/passwd 
11         awk –F: ‘{print $0}’ /etc/passwd 
12         awk –F: ‘{print $1”\t”$3}’ /etc/passwd 

awk變數

 1     變數:內置和自定義變數 
 2     FS:輸入欄位分隔符,預設為空白字元 
 3         awk -v FS=':' '{print $1,FS,$3}’ /etc/passwd 
 4         awk –F: '{print $1,$3,$7}’ /etc/passwd 
 5     F:filed(域、列、欄位)
 6     S:表示分割符
 7     OFS:輸出欄位分隔符,預設為空白字元 
 8         awk -v FS=‘:’ -v OFS=‘:’ '{print $1,$3,$7}’ /etc/passwd 
 9     O:輸出
10     OFS:輸出分割符
11     RS:輸入記錄分隔符,指定輸入時的換行符 
12         awk -v RS=' ' ‘{print }’ /etc/passwd 
13     ORS:輸出記錄分隔符,輸出時用指定符號代替換行符 
14         awk -v RS=' ' -v ORS='###'‘{print }’ /etc/passwd 
15     NF:欄位數量 
16         awk -F:‘{print NF}’ /etc/fstab 引用變數時,變數前不需加$ 
17         awk -F:‘{print $(NF-1)}' /etc/passwd 
18     NR:記錄號 
19         awk ‘{print NR}’ /etc/fstab ; awk END‘{print NR}’ /etc/fstab 
 1     FNR:各文件分別計數,記錄號 
 2         awk '{print FNR}' /etc/fstab /etc/inittab 
 3     FILENAME:當前文件名 
 4         awk '{print FILENAME}’ /etc/fstab 
 5     ARGC:命令行參數的個數 
 6         awk '{print ARGC}’ /etc/fstab /etc/inittab 
 7         awk ‘BEGIN {print ARGC}’ /etc/fstab /etc/inittab 
 8     ARGV:數組,保存的是命令行所給定的各參數 
 9         awk ‘BEGIN {print ARGV[0]}’ /etc/fstab /etc/inittab 
10         awk ‘BEGIN {print ARGV[1]}’ /etc/fstab /etc/inittab 
 1     自定義變數(區分字元大小寫) 
 2         (1) -v var=value 
 3         (2) 在program中直接定義 
 4     示例: 
 5         awk -v test='hello gawk' '{print test}' /etc/fstab 
 6         awk -v test='hello gawk' 'BEGIN{print test}' 
 7         awk 'BEGIN{test="hello,gawk";print test}' 
 8         awk -F:‘{sex=“male”;print $1,sex,age;age=18}’ /etc/passwd 
 9         cat awkscript 
10         {print script,$1,$2} 
11         awk -F: -f awkscript script=“awk” /etc/passwd 

awk之printf

 1     格式化輸出:printf “FORMAT”, item1, item2, ... 
 2         (1) 必須指定FORMAT 
 3         (2) 不會自動換行,需要顯式給出換行控制符,\n 
 4         (3) FORMAT中需要分別為後面每個item指定格式符 
 5     格式符:與item一一對應 
 6         %c:顯示字元的ASCII碼 
 7         %d, %i:顯示十進位整數 
 8         %e, %E:顯示科學計數法數值 
 9         %f:顯示為浮點數 
10         %g, %G:以科學計數法或浮點形式顯示數值 
11         %s:顯示字元串 
12         %u:無符號整數 
13         %%:顯示%自身 
14     修飾符 
15         #[.#] 第一個數字控制顯示的寬度;第二個#表示小數點後精度,%3.1f 
16         - 左對齊(預設右對齊) %-15s 
17         + 顯示數值的正負符號 %+d 

awk操作符

 1     算術操作符: 
 2         x+y, x-y, x*y, x/y, x^y, x%y 
 3         - x:轉換為負數 
 4         +x:將字元串轉換為數值 
 5     字元串操作符:沒有符號的操作符,字元串連接 
 6     賦值操作符: 
 7             =, +=, -=, *=, /=, %=, ^=,++, -- 
 8         下麵兩語句有何不同 
 9             awk ‘BEGIN{i=0;print ++i,i}’ 
10             awk ‘BEGIN{i=0;print i++,i}’ 
 1     比較操作符: 
 2         ==, !=, >, >=, <, <= 
 3     模式匹配符: 
 4         ~:左邊是否和右邊匹配,包含 
 5             !~:是否不匹配 
 6         示例: 
 7             awk -F: '$0 ~ /root/{print $1}‘ /etc/passwd 
 8             awk '$0~“^root"' /etc/passwd 
 9             awk '$0 !~ /root/‘ /etc/passwd 
10             awk -F: ‘$3==0’ /etc/passwd 
 1     邏輯操作符:與&&,或||,非! 
 2     示例: 
 3         awk -F: '$3>=0 && $3<=1000 {print $1}' /etc/passwd 
 4         awk -F: '$3==0 || $3>=1000 {print $1}' /etc/passwd 
 5         awk -F: ‘!($3==0) {print $1}' /etc/passwd 
 6         awk -F: ‘!($3>=500) {print $3}’ /etc/passwd 
 7     條件表達式(三目表達式) 
 8         selector?if-true-expression:if-false-expression 
 9         示例: 
10             awk -F: '{$3>=1000?usertype="Common User":usertype=" 
11             SysUser";printf "%15s:%-s\n",$1,usertype}' /etc/passwd 

awk PATTERN 

 1     PATTERN:根據pattern條件,過濾匹配的行,再做處理 
 2         (1)如果未指定:空模式,匹配每一行 
 3         (2) /regular expression/:僅處理能夠模式匹配到的行,需要用/  /括起來 
 4             awk '/^UUID/{print $1}' /etc/fstab 
 5             awk '!/^UUID/{print $1}' /etc/fstab 
 6         (3) relational expression: 關係表達式,結果為“真”才會被處理 
 7             真:結果為非0值,非空字元串 
 8             假:結果為空字元串或0值            
 9     示例: 
10         awk   -F:  'i=1;j=1{print i,j}' /etc/passwd 
11         awk  ‘!0’  /etc/passwd ;  awk  ‘!1’   /etc/passwd 
12         Awk  -F: '$3>=1000{print $1,$3}'  /etc/passwd 
13         awk  -F: '$3<1000{print $1,$3}'  /etc/passwd 
14         awk  -F: '$NF=="/bin/bash"{print $1,$NF}' /etc/passwd 
15         awk  -F: '$NF ~ /bash$/{print $1,$NF}' /etc/passwd 
1     (4) line ranges:行範圍 
2         startline,endline:/pat1/,/pat2/ 不支持直接給出數字格式 
3         awk -F: ‘/^root\>/,/^nobody\>/{print $1}' /etc/passwd 
4         awk -F: ‘(NR>=10&&NR<=20){print NR,$1}' /etc/passwd 
5     (5) BEGIN/END模式 
6         BEGIN{}:僅在開始處理文件中的文本之前執行一次 
7         END{}:僅在文本處理完成之後執行一次 

awk action 

1     常用的action分類 
2         (1) Expressions:算術,比較表達式等 
3         (2) Control statements:if, while等 
4         (3) Compound statements:組合語句 
5         (4) input statements 
6         (5) output statements:print等 

awk控制語句 

 1     { statements;… } 組合語句 
 2     if(condition) {statements;…}  
 3     if(condition) {statements;…} else {statements;…} 
 4     while(conditon) {statments;…} 
 5     do {statements;…} while(condition) 
 6     for(expr1;expr2;expr3) {statements;…} 
 7     break 
 8     continue 
 9     delete array[index] 
10     delete array 
11     exit  

awk控制語句if-else 

 1     語法:if(condition){statement;…}[else statement] 
 2         if(condition1){statement1}else if(condition2){statement2}else{statement3} 
 3     使用場景:對awk取得的整行或某個欄位做條件判斷 
 4     示例: 
 5         awk -F: '{if($3>=1000)print $1,$3}' /etc/passwd 
 6         awk -F: '{if($NF=="/bin/bash") print $1}' /etc/passwd 
 7         awk '{if(NF>5) print $0}' /etc/fstab 
 8         awk -F: '{if($3>=1000) {printf "Common user: %s\n",$1} else {printf "root or 
 9         Sysuser: %s\n",$1}}' /etc/passwd 
10         awk -F: '{if($3>=1000) printf "Common user: %s\n",$1; else printf "root or 
11         Sysuser: %s\n",$1}' /etc/passwd 
12         df -h|awk -F% '/^\/dev/{print $1}'|awk '$NF>=80{print $1,$5}‘ 
13         awk ‘BEGIN{ test=100;if(test>90){print “very good“} 
14             else if(test>60){ print ”good”}else{print “no pass”}}’ 

awk控制語句 while迴圈 

 1     語法:while(condition){statement;…} 
 2     條件“真”,進入迴圈;條件“假”,退出迴圈 
 3     使用場景: 
 4         對一行內的多個欄位逐一類似處理時使用 
 5         對數組中的各元素逐一處理時使用 
 6     示例: 
 7         awk '/^[[:space:]]*linux16/{i=1;while(i<=NF)  
 8             {print $i,length($i); i++}}' /etc/grub2.cfg 
 9         awk ‘/^[[:space:]]*linux16/{i=1;while(i<=NF) {if(length($i)>=10) {print 
10             $i,length($i)}; i++}}’ /etc/grub2.cfg 

awk控制語句do-while迴圈

1     語法:do {statement;…}while(condition) 
2     意義:無論真假,至少執行一次迴圈體 
3     示例:  
4         awk 'BEGIN{ total=0;i=0;do{ total+=i;i++;}while(i<=100);print total}’ 

awk控制語句 for迴圈

1     語法:for(expr1;expr2;expr3) {statement;…} 
2     常見用法: 
3         for(variable assignment;condition;iteration process) 
4             {for-body} 
5     特殊用法:能夠遍曆數組中的元素 
6         語法:for(var in array) {for-body} 
7     示例: 
8         awk '/^[[:space:]]*linux16/{for(i=1;i<=NF;i++) {print $i,length($i)}}' 
9             /etc/grub2.cfg 

awk控制語句switch語句 

1     語法:switch(expression) {case VALUE1 or /REGEXP/: statement1; case 
2         VALUE2 or /REGEXP2/: statement2; ...; default: statementn} 
3     break和continue 
4         awk ‘BEGIN{sum=0;for(i=1;i<=100;i++) 
5             {if(i%2==0)continue;sum+=i}print sum}' 
6         awk ‘BEGIN{sum=0;for(i=1;i<=100;i++) 
7             {if(i==66)break;sum+=i}print sum}' 

awk數組

 1     關聯數組:array[index-expression] 
 2     index-expression: 
 3         (1) 可使用任意字元串;字元串要使用雙引號括起來 
 4         (2) 如果某數組元素事先不存在,在引用時,awk會自動創建此元素,並將其值初始化為“空串” 
 5         (3) 若要判斷數組中是否存在某元素,要使用“index in array”格式進行遍歷 
 6     示例: 
 7         weekdays["mon"]="Monday"  
 8         awk 'BEGIN{weekdays["mon"]="Monday";weekdays["tue"]="Tuesday"; 
 9             print weekdays["mon"]}‘ 
10         awk ‘!line[$0]++’ dupfile 
11         awk '{!line[$0]++;print $0, line[$0]}'  dupfile 
1     若要遍曆數組中的每個元素,要使用for迴圈 
2     for(var in array) {for-body} 
3     註意:var會遍歷array的每個索引 
4     示例:  
5         awk‘BEGIN{weekdays["mon"]="Monday";weekdays["tue"]="Tuesday";
6             for(i in weekdays) {print weekdays[i]}}' 
7         netstat -tan | awk '/^tcp/{state[$NF]++} 
8             END{for(i in state) { print i,state[i]}}' 
9         awk  '{ip[$1]++}END{for(i in ip) {print i,ip[i]}}'   /var/log/httpd/access_log 

awk函數

 1     數值處理: 
 2         rand():返回0和1之間一個隨機數 
 3         awk 'BEGIN{srand(); for (i=1;i<=10;i++)print int(rand()*100) }' 
 4     字元串處理: 
 5         length([s]):返回指定字元串的長度 
 6         sub(r,s,[t]):對t字元串搜索r表示模式匹配的內容,並將第一個匹配內容替換為s 
 7             echo "2008:08:08 08:08:08" | awk 'sub(/:/,“-",$1)' 
 8         gsub(r,s,[t]):對t字元串進行搜索r表示的模式匹配的內容,並全部替換為s所表示的內容 
 9             echo "2008:08:08 08:08:08" | awk ‘gsub(/:/,“-",$0)' 
10         split(s,array,[r]):以r為分隔符,切割字元串s,並將切割後的結果保存至array所
11             表示的數組中,第一個索引值為1,第二個索引值為2,… 
12                 netstat -tn | awk '/^tcp\>/{split($5,ip,":");count[ip[1]]++} 
13                     END{for (i in count) {print i,count[i]}}’ 
 1     自定義函數格式: 
 2         function name ( parameter, parameter, ... ) { 
 3                         statements 
 4                         return expression 
 5         } 
 6     示例: 
 7         cat fun.awk 
 8         function max(x,y) { 
 9             x>y?var=x:var=y 
10             return var 
11         } 
12         BEGIN{a=3;b=2;print max(a,b)} 
13         awk -f fun.awk  

awk腳本 

1     將awk程式寫成腳本,直接調用或執行 
2     示例: 
3     cat f1.awk 
4         {if($3>=1000)print $1,$3} 
5     awk -F: -f f1.awk /etc/passwd  
 1 向awk腳本傳遞參數 
 2     格式: 
 3         awkfile var=value var2=value2... Inputfile 
 4     註意:在BEGIN過程中不可用。直到首行輸入完成以後,變數才可用。可以通
 5         過-v 參數,讓awk在執行BEGIN之前得到變數的值。命令行中每一個指定的變
 6         量都需要一個-v參數 
 7     示例: 
 8         cat test.awk 
 9             #!/bin/awk –f 
10             {if($3 >=min && $3<=max)print $1,$3} 
11         chmod +x test.awk 
12         test.awk -F: min=100 max=200 /etc/passwd

awk實例:

1 1、判斷UID是否大於等於500,如果為真就顯示為普通用戶,如果為假就顯示為系統或管理用戶
2 awk -F: '{$3>=500?name="common user":name="system user";print name,$1,$3}' /etc/passwd
3 2、顯示用戶id為奇數的用戶。
4 awk -F: '{if(NR%2==0)next;print NR,$0}' /etc/passwd
5 3、統計web服務訪問日誌中的ip訪問量
6 awk '{ip[$1]++}END{for(i in ip){print i,ip[i]}}' /var/log/httpd/access_log 

 


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 簡述 我們做軟體工作的雖然每天都離不開網路,可網路協議細節卻不是每個人都會接觸和深入瞭解。我今天就來和大家一起學習下Socket,並寫一個簡單的聊天程式。 一些基礎類 首先我們每天打開瀏覽器訪問網頁信息都是使用的HTTP/HTTPS協議,而HTTP是通過的TCP建立的連接。TCP底層又是通過的Soc ...
  • 關鍵字:流程未來節點處理人 工作流快速開發平臺 工作流流設計 業務流程管理 asp.net 開源工作流 業務背景:一個流程在啟動起來後,是可以對一些節點計算出來處理人是誰,流程的走向。對於另外一些節點處理人有可能需要相關的人員調整的。在一些審批的環境下,需要把能夠計算出來的節點處理人在發起時計算出來... ...
  • 一、背景 代碼實例:https://gitee.com/D_C_L/CurtainEtcAOP.git我們實際系統中有很多操作,是不管做多少次,都應該產生一樣的效果或返回一樣的結果。 例如: 1. 前端重覆提交選中的數據,應該後臺只產生對應這個數據的一個反應結果。 2. 我們發起一筆付款請求,應該只 ...
  • 本篇主要寫一些 腳本排序工具的使用。 sort 概述 是一個以行為單位對文件內容進行排序的工具,也可以根據不同的數據類型來排序。 用法 sort [選項] 參數 :忽略大小寫 :忽略每行前面的空格 :按照月份進行排序 :按照數字進行排序 :反向排序 :等同於 ,表示相同的數據僅顯示一行 :指定分隔符 ...
  • 本篇主要寫一些 腳本編輯工具 的使用。 概述 是一個功能強大的編輯工具,逐行讀取輸入文本,並根據指定的匹配模式進行查找,對符合條件的內容進行格式化輸出或者過濾處理。 傾向於將一行分成多個欄位然後再進行處理,且預設情況下欄位的分隔符為 或者 鍵。 執行結果可以通過 的功能將欄位數據列印顯示。 可以使用 ...
  • 1.先apt-get update一下當前預設的源,更新完成後先把vim命令安裝一下,再修改源倉庫為阿裡雲,否則無法直接編輯文件 2.先添加阿裡雲的源,編輯文件/etc/apt/sources.list,編輯完再次更新一下 deb http://mirrors.aliyun.com/ubuntu/ ...
  • 作為一個技術純小白,在Linux伺服器初始化MySQL資料庫的時候遇到了一點小問題: ​ 1、不會使用MySQL圖形工具,幾乎沒玩過 ​ 2、客戶的VPN沒有開放3306埠,沒法用navicat等工具連接資料庫 ​ 3、懶的再打開圖形工具,畢竟命令行接近萬能了…… 所以: 方法一、在初始化腳本文件 ...
  • 對稱加密演算法 非對稱加密演算法 單向散列(hash演算法) CA和證書 證書獲取 安全協議 OpenSSL openssl命令 創建CA和申請證書 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...