awk簡介

来源:https://www.cnblogs.com/xiaoshiwang/archive/2020/03/05/12420899.html
-Advertisement-
Play Games

本質： 是一門編程語言，有自己的語法和庫函數。 工作機理： 讀取每一行 按分隔符把這一行切成多個（不指定分隔符的話，空白或者連續空白就是分隔符） $1：代表第一列；$2：第二列。。。。 $0：整行內容 按需，按特定格式列印出來 功能： 可以限定處理哪些行 可以根據列的內容做條件分支處理 可以迴圈所有 ...


本質：

是一門編程語言，有自己的語法和庫函數。

工作機理：

  • 讀取每一行

  • 按分隔符把這一行切成多個（不指定分隔符的話，空白或者連續空白就是分隔符）

    $1：代表第一列；$2：第二列。。。。

    $0：整行內容

  • 按需，按特定格式列印出來

功能：

  • 可以限定處理哪些行
  • 可以根據列的內容做條件分支處理
  • 可以迴圈所有列
  • 可以自己定義變數

命令基本用法：

awk [option] 'PROGRAM' FILE...

PROGRAME：PATERN{ACTION STATEMENTS}

例子1：/etc/fstab文件用空白分隔，列印出第二列和第四列。

列之間用逗號分隔，列印出來的列之間就有空格；不加逗號，就把這2列連一起了

[root@localhost ~]# tail -4 /etc/fstab
/dev/mapper/centos-root /                       xfs     defaults        0 0
UUID=3d3b316a-529e-484a-9895-e785fdde5365 /boot                   xfs     defaul
/dev/mapper/centos-home /home                   xfs     defaults        0 0
/dev/mapper/centos-swap swap                    swap    defaults        0 0
[root@localhost ~]# tail -4 /etc/fstab | awk '{print $2,$4}'
/ defaults
/boot defaults
/home defaults
swap defaults
[root@localhost ~]# tail -4 /etc/fstab | awk '{print $2 $4}'
/defaults
/bootdefaults
/homedefaults
swapdefaults

例子2：/etc/fstab文件用空白分隔，列印出第二列和第四列，並隨意加幾列

# tail -4 /etc/fstab | awk '{print "hi",$2,$4,567}'
hi / defaults 567
hi /boot defaults 567
hi /home defaults 567
hi swap defaults 567

由上面2個小例子，可以看出awk的基本使用要點：

  • print的項目間，加了逗號，列印出來的項目之間就有空格
  • print後面的內容，可以是列號，自己定義的變數，隨意的字元串和數字
  • print後面如果省略項目，就是列印$0

選項

  • -F：告訴awk用什麼分隔符，去分隔輸入
  • -v：自定義變數。var=value。定義多個變數要使用多次-v

awk的變數

1，內置變數

  • FS：input file seperator 輸入列分隔符，預設是空白或者連續空白

    # tail -4 /etc/fstab | awk -v OFS=',' '{print $3,$4}'
xfs,defaults
xfs,defaults
xfs,defaults
swap,defaults

  • OFS：output file seperator 輸出列分隔符，預設是空白或者連續空白

    # tail -4 /etc/passwd | awk -v FS=':' '{print $1,$4}'
us3 1002
user100 1003
user101 1004
apache 48
# tail -4 /etc/passwd | awk -v FS=':' -v OFS=':' '{print $1,$4}'
us3:1002
user100:1003
user101:1004
apache:48

  • RS：input record seperator 輸入行識別符，預設是回車

  • ORS：output record seperator 輸出行識別符，預設是回車

  • NF：每行里列的數量

    在awk內部引用變數不需要加$。

    # awk '{print NF}' /etc/fstab
0
1
2
10
1
9
12
1
6
6
6
6

  • NR：文件的行號

    # awk '{print NR}' /etc/fstab
1
2
3
4
5
6
7
8
9
10
11
12

    如果是多個文件,則連續計數行號。

    # awk '{print NR}' /etc/fstab /etc/issue
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15

  • FNR：如果是多個文件,則單獨計數行號。

    # awk '{print FNR}' /etc/fstab /etc/issue
1
2
3
4
5
6
7
8
9
10
11
12
1
2
3

  • FILENAME：顯示文件名

    # awk '{print FILENAME}' /etc/fstab /etc/issue
/etc/fstab
/etc/fstab
/etc/fstab
/etc/fstab
/etc/fstab
/etc/fstab
/etc/fstab
/etc/fstab
/etc/fstab
/etc/fstab
/etc/fstab
/etc/fstab
/etc/issue
/etc/issue
/etc/issue

  • ARGC：命令行參數的個數

  • ARGV：數組，保存的是接收到的命令行參數。

    # awk '{print ARGC, ARGV[0],ARGV[1],ARGV[2]}' /etc/fstab /etc/issue
3 awk /etc/fstab /etc/issue
3 awk /etc/fstab /etc/issue
3 awk /etc/fstab /etc/issue
3 awk /etc/fstab /etc/issue
3 awk /etc/fstab /etc/issue
3 awk /etc/fstab /etc/issue
3 awk /etc/fstab /etc/issue
3 awk /etc/fstab /etc/issue
3 awk /etc/fstab /etc/issue
3 awk /etc/fstab /etc/issue
3 awk /etc/fstab /etc/issue
3 awk /etc/fstab /etc/issue
3 awk /etc/fstab /etc/issue
3 awk /etc/fstab /etc/issue
3 awk /etc/fstab /etc/issue
# awk 'BEGIN{print ARGC, ARGV[0],ARGV[1],ARGV[2]}' /etc/fstab /etc/issue
3 awk /etc/fstab /etc/issue

2，自定義變數

變數名區分大小寫，可以使用-v定義；也可以在PROGRAM體里定義。什麼是PROGRAM，在大括弧里的部分。PROGRAME里的多個語句，使用分號分隔。

  • 使用-v定義變數

    # awk -v var="122dd" '{print var}' /etc/issue
122dd
122dd
122dd

  • 在在PROGRAM體里定義變數

    # awk '{var="11d";print var}' /etc/issue
11d
11d
11d

printf語句用法

實現格式化輸出。不自動換行，使用\n是換行。

格式符：

  • %c：顯示ascii碼
  • %d,%i：顯示十進位整數
  • %e, %E：顯示科學計數法
  • %f：顯示浮點數
  • %g, %G：顯示科學計數法或浮點數
  • %s：顯示字元串
  • %u：顯示無符號整數
  • %%：顯示%自身
# awk -F: '{printf "username:%s,uid:%d\n",$1,$3}' /etc/passwd
username:avahi,uid:70
username:postfix,uid:89

修飾符：

  • 數字1[.數字2]
  • -數字1[.數字2]：左對齊
  • +數字1[.數字2]：顯示數字的符號，正數顯示+，符號顯示-

數字1：顯示時，列所占用的寬度。預設是右對齊，-號是左對齊。

數字2：有小數點的話，指定顯示幾位小數。

# awk -F: '{printf "username:%15s,uid:%d\n",$1,$3}' /etc/passwd
username:        user101,uid:1004
username:         apache,uid:48
# awk -F: '{printf "username:%-15s,uid:%d\n",$1,$3}' /etc/passwd
username:user100        ,uid:1003
username:user101        ,uid:1004
username:apache         ,uid:48

操作符

1，算術操作符

a+b,a-b,a*b,a/b,a^b,a%b,

2，字元串操作符

沒有操作符，就是連接字元串

3，賦值操作符

=,+=,-=,*=,/=,%=,^=

++,--

4，比較操作符

>,>=,<,<=,!=,==

5，模式匹配符

~：左側的字元串是否能被右側的模式所匹配

!~：左側的字元串是否能被右側的模式所不匹配

6，邏輯操作符

&&,||,!

7，函數調用

function_name(arg1,arg2...)

8，條件表達式

selector?true:false

例子：uid大於等於1000的是aa。

# awk -F: '{$3>=1000?ut="aa":ut="bb"; printf "%s:%d\n", ut, $3}'\n /etc/passwd

PATTERN

選擇要處理的行，不寫pattern預設是處理所有行。

1，/正則表達式/：僅把被匹配到的行作為處理對象

僅處理UUID開頭的行

# awk -F' ' '/^UUID/{print $1, $3}'\n /etc/fstab
UUID=3d3b316a-529e-484a-9895-e785fdde5365 xfs

a僅處理不以UUID開頭的行

# awk -F' ' '!/^UUID/{print $1, $3}'\n /etc/fstab

#
#
# by
#
# filesystems,
# man
#
/dev/mapper/centos-root xfs
/dev/mapper/centos-home xfs
/dev/mapper/centos-swap swap

2，關係表達式：結果為真的行，才是處理對象。結果是非0或非空白都是真。

處理uid大於等於1000的行

# awk -F: '$3>=1000{print $1,$3}' /etc/passwd
nfsnobody 65534
us1 1001
us3 1002
user100 1003
user101 1004

處理shell是bash的行

最後一列的字元串包含bash的行
# awk -F: '$NF~"bash"{print $1,$NF}' /etc/passwd
root /bin/bash
ys /bin/bash
us1 /bin/bash
us3 /bin/bash
user100 /bin/bash
user101 /bin/bash
最後一列的字元串以bash結尾的行
# awk -F: '$NF~/bash$/{print $1,$NF}' /etc/passwd
root /bin/bash
ys /bin/bash
us1 /bin/bash
us3 /bin/bash
user100 /bin/bash
user101 /bin/bash

# awk -F: '$NF=="/bin/bash"{print $1,$NF}' /etc/passwd
root /bin/bash
ys /bin/bash
us1 /bin/bash
us3 /bin/bash
user100 /bin/bash
user101 /bin/bash

指定處理的行號

# awk -F: 'NR>=1&&NR<=3{print $1,$NF}' /etc/passwd
root /bin/bash
bin /sbin/nologin
daemon /sbin/nologin

指定處理的開始行，終了行，但不是用數字，而是用pattern

# awk -F: '/^root/,/^daemon/{print $1,$NF}' /etc/passwd
root /bin/bash
bin /sbin/nologin
daemon /sbin/nologin

3，BEGIN,END

  • BEGIN：處理第一行前，執行一次BEGIN。一般用於列印表頭。
  • END：處理完最後一行後，執行一次END。一般用於列印彙總。
# awk -F: 'BEGIN{print "    username      uid"} {print $1,$3}' /etc/passwd
    username      uid
root 0
bin 1
daemon 2

列印出前5行的username和uid，併在結尾統計出：uid之和

# awk -F: -v sum=0 'BEGIN{print "username  uid"} NR>=1&&NR<=5{printf "%8s  %3d\n", $1,$3;sum+=$3} END{printf "       sum:%s\n",sum}' /etc/passwd
username  uid
    root    0
     bin    1
  daemon    2
     adm    3
      lp    4
       sum:10

常用的action

1，控制語句

  • if(condition) {...}

    僅顯示uid大於等於1000的行。

    # awk -F: '{ if($3>=1000) {print $1,$3}}' /etc/passwd
nfsnobody 65534
ys 1000
us1 1001
us3 1002
user100 1003
user101 1004

  • if(condition) {...} else {...}

    # awk -F: '{ if($3>=1000) {printf "user:%s\n",$1} else {printf "suser:%s\n",$1} }' /etc/passwd
suser:root
user:nfsnobody

    例子：統計磁碟使用量超過10%的分區。

    按空格分隔，用第五列做判斷，第五列是Use%，17%，0%等，可以直接和10作比較。

    其實原理是字元串比較，字母的ASCII碼大於數字，所以第一行也顯示出來了，完美實現要求。

    # df -h
Filesystem               Size  Used Avail Use% Mounted on
/dev/mapper/centos-root   38G  6.1G   31G  17% /
devtmpfs                 1.9G     0  1.9G   0% /dev
tmpfs                    1.9G     0  1.9G   0% /dev/shm
tmpfs                    1.9G  9.0M  1.9G   1% /run
tmpfs                    1.9G     0  1.9G   0% /sys/fs/cgroup
/dev/sda1               1014M  179M  836M  18% /boot
/dev/mapper/centos-home   19G   40M   19G   1% /home
tmpfs                    379M     0  379M   0% /run/user/0

# df -h | awk '{if($5>"10") print $0}'
Filesystem               Size  Used Avail Use% Mounted on
/dev/mapper/centos-root   38G  6.1G   31G  17% /
/dev/sda1               1014M  179M  836M  18% /boot

  • switch(expression){case val1 or /pattern/: 語句; case val1 or /pattern/ 語句; ... default: 語句}

    val是固定的值；pattern是正則表達式。

  • while(condition) {...}

    統計/etc/fstab文件，U和/開頭的行是處理對象。把每列的字元串的長度算出來，顯示在列的後面，中間用冒號分隔。迴圈到最後一列時，列印換行。

    # awk '/^[U\/]/{i=1;while(i<=NF) { printf "%s:%d ",$i,length($i); if(i==NF) {printf "\n"} i++} }' /etc/fstab
/dev/mapper/centos-root:23 /:1 xfs:3 defaults:8 0:1 0:1
UUID=3d3b316a-529e-484a-9895-e785fdde5365:41 /boot:5 xfs:3 defaults:8 0:1 0:1
/dev/mapper/centos-home:23 /home:5 xfs:3 defaults:8 0:1 0:1
/dev/mapper/centos-swap:23 swap:4 swap:4 defaults:8 0:1 0:1

  • do{...} while(condition)

  • for(expr1;expr2;expr3){...}

    統計/etc/fstab文件，U和/開頭的行是處理對象。把每列的字元串的長度算出來，顯示在列的後面，中間用冒號分隔。迴圈到最後一列時，列印換行。

    # awk '/^[U\/]/{for(i=1;i<=NF;i++) { printf "%s:%d ",$i,length($i); if(i==NF) {printf "\n"} } }' /etc/fstab
/dev/mapper/centos-root:23 /:1 xfs:3 defaults:8 0:1 0:1
UUID=3d3b316a-529e-484a-9895-e785fdde5365:41 /boot:5 xfs:3 defaults:8 0:1 0:1
/dev/mapper/centos-home:23 /home:5 xfs:3 defaults:8 0:1 0:1
/dev/mapper/centos-swap:23 swap:4 swap:4 defaults:8 0:1 0:1

    遍曆數組的特殊用法:for(var in array)

  • continue,bread[n](退出哪層迴圈)

  • next：提前退出當前行的處理，直接進入下一行。類似continue。

    顯示uid是偶數的行。

    # awk -F: '{ if($3%2)next;print $1,$3}' /etc/passwd
root 0
daemon 2
lp 4
shutdown 6

  • delete arrary[index]：刪除數組的某個元素

  • delete array：刪除數組

  • exit：退出

2，input statements

3，output statements

數組

  • 索引數組：索引是數字
  • 關聯數組：索引是任意的字元串，字元串要用雙引號括起來。

當引用一個不存在的數組元素時，會自動創建之。數組索引是從1開始。

判斷某個索引是否存在，要使用特殊的語法：index in array

第一個wk["tur"]=12222a的12222a沒有用雙引號括起來，列印wk["tur"]的值變成了12222，自動把a去掉了。

# awk 'BEGIN{wk["mon"]="aaa";wk["tur"]=12222a; print wk["tur"]; print wk["mon"]}'
12222
aaa
[root@localhost ~]# awk 'BEGIN{wk["mon"]="aaa";wk["tur"]="1222a"; print wk["tur"]; print wk["mon"]}'
12222a
aaa

用for遍曆數組，i是數組的索引，而不是數組元素的值。

# awk 'BEGIN{wk["mon"]="aaa";wk["tur"]="12222a"} {for(i in wk)print i}' /etc/issue
tur
mon
tur
mon
tur
mon
[root@localhost ~]# awk 'BEGIN{wk["mon"]="aaa";wk["tur"]="12222a"} {for(i in wk)print wk[i]}' /etc/issue
12222a
aaa
12222a
aaa
12222a
aaa

統計每個狀態出現的次數之和。

# netstat -tan
Active Internet connections (servers and established)
Proto Recv-Q Send-Q Local Address           Foreign Address         State
tcp        0      0 0.0.0.0:111             0.0.0.0:*               LISTEN
tcp        0      0 192.168.122.1:53        0.0.0.0:*               LISTEN
tcp        0      0 0.0.0.0:22              0.0.0.0:*               LISTEN
tcp        0      0 127.0.0.1:631           0.0.0.0:*               LISTEN
tcp        0      0 127.0.0.1:6011          0.0.0.0:*               LISTEN
tcp        0     64 192.168.56.107:22       192.168.56.1:60328      ESTABLISHED
tcp6       0      0 :::111                  :::*                    LISTEN
tcp6       0      0 :::80                   :::*                    LISTEN
tcp6       0      0 :::22                   :::*                    LISTEN
tcp6       0      0 ::1:631                 :::*                    LISTEN
tcp6       0      0 ::1:6011                :::*                    LISTEN
# netstat -tan | awk '{if(NR==1 || NR==2)next; wk[$6]++} END{for(i in wk) printf "%s:%d times\n", i,wk[i]}'
LISTEN:10 times
ESTABLISHED:1 times

函數

1，內置函數

  • rand()：隨機返回小於1的小數

  • split(要被分隔的串，存放分隔後的結果，分隔符)：分隔字元串。

    # netstat -tnl | awk '/^tcp\>/{split($4,ip,":"); print ip[1]}'
0.0.0.0
192.168.122.1
0.0.0.0
127.0.0.1
127.0.0.1

2，也支持自定義函數

c/c++ 學習互助QQ群：877684253

本人微信：xiaoshitou5854


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 淺談C# Dictionary實現原理
    使用C#已經有好多年頭了，然後突然有一天被問到C#Dictionary的基本實現，這讓我反思到我一直處於拿來主義，能用就好，根本沒有去考慮和學習一些底層架構，想想令人頭皮發麻。下麵開始學習一些我平時用得理所當然的東西，今天先學習一下字典，Dictionary 一、Dictionary源碼學習 Dic ...
  • C#實現-瀏覽器UA解析獲得手機、系統、瀏覽器等信息
    點擊進入GitHub項目 Nuget包名：ToolBox.UserAgentParse 使用教程： 1. 打開項目→選擇依賴項（引用）→右鍵 管理nuget程式包 2. 搜索包 ToolBox.UserAgentParse → 找到圖中的包→點擊右邊的安裝 安裝成功即可 3.調用 1 var uaI ...
  • C#開發資料庫應用系統
    第一章 1.1第一個Windows程式 1.1.1創建一個Windows應用程式 一共包括四部 (1)打開Visual Studio開發工具 (2)選擇 “文件” ➡ “新建” ➡ “項目” 命令。 (3)項目類型選擇 “Visual C ”。 (4)模板選擇“Windows窗體應用程式” 選擇項目 ...
  • [WPF 學習] 4.未處理異常的處理
    異常不可避免，所有地方都寫try...catch也麻煩，所以有了未處理異常的處理的東東，分別為以下三個事件： 1. Application.Current.DispatcherUnhandledException：DispatcherUnhandledException is raised by a ...
  • WPF的一種動態切語言方法
    使用 resx 文件，可以動態切換語言， 新建Lang.zh-CN.resx Lang.en-US.resx 資源文件 新建空類Lang.cs 新建如下類： public class LanguageManager : INotifyPropertyChanged { private readonl ...
  • Ansible-基本概述
    ansible 介紹、特點、原理與架構、具體執行流程，以及自動化運維使用場景 ...
  • 操作系統第一次實驗報告——剖析ps命令
    0 個人信息 張櫻姿 201821121038 計算1812 1 實驗目的 熟練Linux命令行操作。 2 實驗內容 使用man查詢命令使用手冊 基本命令使用 3 實驗環境 操作系統：deepin15.9.2 平臺：雙操作系統 4 實驗報告 剖析ps命令 man命令是Linux下的幫助指令，通過ma ...
  • Windows應急響應和系統加固(10)——Nginx日誌分析以及JBoss日誌分析
    Nginx日誌分析以及JBoss日誌分析 一、使用E.L.K安全分析Nginx日誌 1.Nginx日誌介紹： Nginx是高性能的、輕量級Web、反向代理和電子郵件代理伺服器，由俄羅斯訪問量第二的Rambler.ru站點開發； 簡稱"ngx"，由於出色的性能，低資源消耗，在高併發應用系統中應用廣泛； ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發（一）：使用.NET MAUI開發第一個安卓APP
    移動開發（一）：使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說，近來想嘗試開發一款安卓APP，考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP，畢竟是使用Visual Studio開發工具，使用起來也比較的順手，結合微軟官方的教程進行了安卓 ...
  • wpf ToggleButton選中效果和一個登錄界面
    前言 QuestPDF 是一個開源 .NET 庫，用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫，它徹底改變了我們生成 PDF 文檔的方 ...
  • 彈幕樹洞項目功能新增篇
    項目地址 項目後端地址： https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址： ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址： http://tree ...
  • 第27篇 sqlserver2022詳細安裝步驟
    話不多說，直接開乾 一.下載 1.官方鏈接下載： https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe，運行開始下載SQL server； 二. ...
  • .NET 開源高性能 MQTT 類庫
    前言 隨著物聯網（IoT）技術的迅猛發展，MQTT（消息隊列遙測傳輸）協議憑藉其輕量級和高效性，已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫，為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog文檔翻譯系列（六） - 可用的接收器、增強器、格式化輸出
    Serilog支持多種接收器用於日誌存儲，增強器用於添加屬性，LogContext管理動態屬性，支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項，適用於不同需求。 ...
  • 警惕 Visual Studio 屬性求值副作用導致邏輯不符合預期
    目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據，爬取信息時需要模擬瀏覽器行為，否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下： 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • [使用目前最新版]HybridCLR6.9.0+YooAsset2.2.4實現純C# Unity熱更新方案 (一)
    1.前言 什麼是熱更新 游戲或者軟體更新時，無需重新下載客戶端進行安裝，而是在應用程式啟動的情況下，在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR，Xlua，ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles，Addressable， ...
  • 在 ASP.NET Core Web API 中使用操作篩選器統一處理通用操作
    本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺，其實像阿裡雲，騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後，它會送 ...
  • 第28篇 如何.net中實現高效可靠數據同步api
    通過以下方式可以高效，並保證數據同步的可靠性 1.API設計 使用RESTful設計，確保API端點明確，並使用適當的HTTP方法（如POST用於創建，PUT用於更新）。 設計清晰的請求和響應模型，以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證，確保接收到的數據符合預期格 ...
所有分類