本文分成入門篇和基礎篇。基礎篇包括變數、字元串處理、數學運算三部分。基礎篇包括流控制、函數和函數庫三部分。主要是基於例子進行講解,其中有 4 個複雜一點的腳本,看懂了也就入門了。 ...
本文分成入門篇和基礎篇。基礎篇包括變數、字元串處理、數學運算三部分。基礎篇包括流控制、函數和函數庫三部分。主要是基於例子進行講解,其中有 4 個複雜一點的腳本,看懂了也就入門了。
我們先來聊一聊 shell 和 shell script 的概念。電腦的運行離不開硬體,我們通過操作系統(OS,Operating System)操作硬體,而我們所說的 linux 嚴格來說是操作系統(OS)的核心部分——內核(Kernel)。我們無法直接操作 kernel,需要藉助於 kernel 外的一層殼 shell 才能與 kernel 進行交互。如果把操作系統(OS)看做是一家公司,shell 就是前臺,kernel 就是董事會。當我們訪問公司的時候,先和前臺(shell)打個招呼,前臺通知董事會(kernel),董事會來控制公司(OS)。
俗話說“鐵打的營盤流水的兵”,就是公司人來人往,都不會影響公司的運轉。對於操作系統也一樣,我們可以替換操作系統的前臺(shell),甚至董事會(kernel)。如果你想知道你的系統中用到的是什麼 shell 可以訪問 /etc/shells 文件。,我的電腦上就有下麵幾種 shell:
# /etc/shells: valid login shells
/bin/sh
/bin/dash
/bin/bash
/bin/rbash
/bin/zsh
/usr/bin/zsh
小結: shell 是 kernel 外的一層殼,是操作系統與用戶之間的橋梁.我們通常所說的 shell 並不是 shell 本身,而是 shell script(shell 腳本),一般是 .sh 結尾的文件.怎麼寫一個 shell 腳本是本文探討的話題,而不是 shell 本身.
入門篇
#!/bin/bash
for ((i=0; i<10; i++));
do
echo ${i}
done
直接來看一個例子吧。創建一個名為 shell001.sh 的文件,寫上上面幾行代碼:
- 第 1 行,指定 shell 的解釋器。shell 腳本就和 python 或者 jsp 需要用解釋器來解析,第 1 行就是用於指定解釋器,也就是之前提到的 /etc/shells 下麵列出來的。
- 第 2 行,迴圈語句,共迴圈 10 次,會在後面流控制章節講解,加上 do 和 done 是 for 迴圈中的語法規則,for、do、done 是 shell script 中的關鍵字
- 第 4 行,列印 i 這個變數
那麼怎麼運行這個腳本呢?既然是運行我們既要給它賦予可執行許可權chmod +x shell001.sh
,接著用 ./shell001.sh
執行這個腳本。腳本運行起來將會在終端輸出 0 到 9 這幾個數字。
變數
前面沒有解釋第 4 行echo ${i}
。echo 是一個簡單的 linux 命令,它會將輸入從到標準輸出(stdout)上,然後在終端中顯示出來,這裡顯示的就是${i}
這個變數的值。
在 shell 中定義變數的規則如下:
- 變數和等號之間不能有空格
- 變數名稱由字母、數字和下劃線組成
- 變數名稱的第一個字元必須是字母或者下劃線
- 變數名稱中不允許空格和標點
比如說一個變數為name="shuiyj"
,那麼使用變數就要加上$
符號,列印這個變數就使用echo ${name}
。此外變數除了顯示地賦值,還可以使用語句給變數賦值:
# 獲取該文件夾下尾碼為 jpg 結尾的列表
for image in `ls *.jpg`
變數匹配
我們會定義和使用一個變數了,接下來我會介紹幾個使用的處理變數的方法。
現在一張圖片的名字叫做 cat.jpg,我想要獲取文件的名稱,即 cat。當然這有很多的中方法,這裡介紹一種實用的方法——變數匹配。
語法 | 說明 |
---|---|
${變數名#匹配規則} | 從變數開頭進行規則匹配,將符合最短的數據刪除 |
${變數名##匹配規則} | 從變數開頭進行規則匹配,將符合最長的數據刪除 |
${變數名%匹配規則} | 從變數結尾進行規則匹配,將符合最短的數據刪除 |
${變數名%%匹配規則} | 從變數結尾進行規則匹配,將符合最長的數據刪除 |
${變數名/舊字元串/新字元串} | 變數中符合規則的第一個舊字元串將會被舊字元串代替 |
${變數名//舊字元串/新字元串} | 變數中符合規則的所有舊字元串將會被舊字元串代替 |
回到最開始的需求,就可以使用%
來實現
cat="cat.jpg"
echo ${cat} # cat.jpg
echo ${cat%.*} # cat
首先定義一個變數 cat 併為其賦值,接著用$
獲取 cat 變數的值並列印出來,最後使用變數替換截取字元串。
變數匹配在 shell 中會被高頻使用,要記住這些規則。
特殊變數的含義
shell 中有一些特殊的變數,它們有很多實用的功能,比如說校驗輸入的參數,允許追加更多參數,判斷上一條命令是否執行成功等。
變數 | 含義 |
---|---|
$0 | 當前腳本的文件名 |
$n | 傳遞給腳本或函數的參數。n 是一個數字,表示第幾個參數。例如,第一個參數是$1 ,第二個參數是$2 |
$# | 傳遞給腳本或函數的參數個數。 |
$* | 傳遞給腳本或函數的所有參數。 |
$@ | 傳遞給腳本或函數的所有參數。被雙引號(" ") 包含時,與 $* 稍有不同,下麵將會講到。 |
$? | 上個命令的退出狀態,或函數的返回值。 |
$$ | 當前Shell進程ID。對於 Shell 腳本,就是這些腳本所在的進程ID。 |
比如說我們要對 shell 中的輸入參數進行校驗,可以添加這樣一段
#!/bin/bash
if [ $# != 2 ];then
echo "Usage: $0 <change ID> <target ID>"
exit -1
fi
...
其中$#
表示輸入的參數數量,我們通過條件判斷在程式的輸入參數不為 2 的時候將會進行提示,並退出程式。其中$0
一般是可執行文件的名稱。
字元串
變數的話題就先講到這裡,接下來講 shell 中處理字元串的一些註意事項和技巧。無論學習哪一門編程語言,字元串的處理都是一個繞不開的話題,並且在 shell 編程中用的最多的就是字元串。
單引號與雙引號的區別
字元串可以用單引號,也可以用雙引號,還可以不用引號,我們要註意它們之間的區別。
# 單引號
str='this is a string'
# 雙引號
your_name='qinjx'
str="Hello, I know your are \"$your_name\"! \n"
單引號
- 單引號里的任何字元都會原樣輸出,單引號字元串中的變數是無效的
- 單引號字串中不能出現單引號(對單引號使用轉義符後也不行)
雙引號
- 雙引號里可以有變數
- 雙引號里可以出現轉義字元
想要瞭解更多它們之間的區別可以看這篇文章:shell十三問之4:""(雙引號)與''(單引號)差在哪?。
拼接字元串
shell 中的字元串拼接只要直接連在一起就可以。
first_name="yujie"
last_name="shui"
greeting="hello,${first_name} ${last_name}"
echo ${greeting}
計算字元串的長度
shell 中有兩種方法可以計算字元串長度。
str="abcde"
echo ${#str} # 5
expr length "${str}" # 5
獲取子串在字元串中的索引
expr index ${string} ${substring}
抽取子串
語法 | 說明 |
---|---|
${string:position} | 從string中的position開始 |
${string:position} | 從position開始,並指定長度為length |
${string:-position} | 從右邊開始匹配 |
${string:(postion)} | 從左邊開始匹配 |
expr substr $string $position $length |
從position開始,匹配長度為length |
命令替換
命令替換指的是 shell執行命令並將命令替換部分替換為執行該命令後的結果(先執行該命令,然後用結果代換到命令行中),共有有兩種實現命令替換的方式:
# 方法一
`command`
# 方法二
$(command)
還記得之前講變數的時候提到變數既可以直接獲取,也可以從語句獲取麽?
# 獲取該文件夾下尾碼為 jpg 結尾的列表
for image in `ls *.jpg`
可以看到 Image 獲取到的是ls *.jpg
的返回值,也就是一個文件的列表。這裡就用到命令替換的符號``即兩個反引號。
再比如獲取系統的所有用戶並輸出
index=1
for user in `cat /etc/passwd | cut -d ":" -f 1`
do
echo "This is ${index} user: ${user}"
index = $(($index + 1))
done
cat /etc/passwd | cut -d ":" -f 1
將會截取用戶名,由於使用了命令替換,其執行結果會返回給 user 變數,此時的 user 就是一個包含用戶名稱的列表。
最後再舉一個使用$()
的例子,比如獲取系統時間計算今年或明年
echo "This is $(date +%Y) year"
echo "This is $(($(date +%Y) + 1)) year"
數學運算
shell 中就兩種變數,字元串和數字,數字又要按照整型和浮點型分開進行處理,處理它們的函數是不同的。整型運算需要使用expr $num1 operator $num2
或者$(($num1 operator $num2))
,浮點型運算則需要使用bc
。
任然是通過案例的方式進行說明,假設現在有這樣一個需求:提示用戶輸入一個正整數 num,然後計算 1+2+3+…+num 的值,並且必須對 num 是否為正整數做判斷,不符合應該允許再次輸入。
#!/bin/bash
#
while true
do
read -p "please input a positive number: " num
expr $num + 1 &> /dev/null
if [ $? -eq 0 ];then
if [ `expr $num \> 0` -eq 1 ];then
for((i=1;i<=$num;i++))
do
sum=`expr $sum + $i`
done
echo "1+2+3+....+$num = $sum"
exit
fi
fi
echo "error,input enlegal"
done
這個腳本優點複雜但是不用著急,我們先關註於數學運算expr $num + 1
這一部分,其中關於if
判斷的部分會在下一節講解。
expr $num + 1
意思就是做一次整數運算,將 num 和 1 相加。做這個操作的目的是判斷 num 是不是一個整數,因為 expr 只能應用在整數運算上,所以執行expr $num + 1
之後,如果 num 是整數退出狀態就是正常的 $? = 0
,否則 $? ≠ 0
,並且我們並不需要返回結果,可以將結果重定向到/dev/null
中,即expr $num + 1 &> /dev/null
。
註:在特殊變數的含義這一節可以瞭解$?
的含義。退出狀態指的是命令執行完畢之後像操作系統返回的值,成功則為 0。
expr 支持整數運算,不支持浮點數運算,要做浮點數運算那就要用到 bc。bc 是 bash 內建的運算器,支持浮點數運算,使用方法如下所示:
echo "23.3+30" | bc
53.3
echo "scale=4;23.3/3.2" | bc
7.2812
基礎篇
在前面的入門篇,我們瞭解了變數、字元串和數學運算,接下來我將會介紹 shell 中流程式控制制的語法規則,以及 shell 中如何使用函數以及函數庫。當我們掌握以上這些內容,shell 就可以算是入門了,那麼就一起開始吧。
流控制
流控制就是用判斷語句,迴圈語句來控製程序執行的邏輯,就從我們在上一節數學運算中的那個腳本講起吧,它既包含了if
又包含了while
迴圈,是一個很好的例子。
IF 控制語句
#!/bin/bash
#
while true
do
read -p "please input a positive number: " num
expr $num + 1 &> /dev/null
if [ $? -eq 0 ];then
if [ `expr $num \> 0` -eq 1 ];then
for((i=1;i<=$num;i++))
do
sum=`expr $sum + $i`
done
echo "1+2+3+....+$num = $sum"
exit
fi
fi
echo "error,input enlegal"
done
上一節中的腳本中expr $num + 1 &> /dev/null
是關於數學運算的部分,緊跟著的if
就是一個控制語句,我們拋開無關部分,開看一下關於if
的骨架
expr $num + 1 &> /dev/null
if [ $? -eq 0 ];then
...
fi
這裡首選要進一步解釋退出狀態的含義。之前已經說了,退出狀態指的是命令(包括腳本和函數)在執行完畢之後,向操作系統返回的值。這個值是一個 0~255 的整數,用來表示命令執行成功還是失敗,其中 0 代表命令執行成功。參數$?
則用於保存這個返回值。
由此可以看出if
在這裡做的就是判斷expr $num + 1 &> /dev/null
是否執行成功。
此外,我們也可以使用if...elif..else
的形式,如下:
if condition1
then
command1
elif condition2
command2
else
commandN
fi
此外,在實際開發過程中還經常會對文件狀態進行判斷,比如說判斷這是不是一個文件夾、是不是一個文本文件等;或者會對字元串進行判斷,比如說字元串是否為空,字元串長度是否符合要求;還會對數值進行比較操作,就像例子中提到到值是不是為 0 等。
判斷表達式
if test #表達式為真
if test ! #表達式為假
test 表達式1 –a 表達式2 #兩個表達式都為真
test 表達式1 –o 表達式2 #兩個表達式有一個為真
test 表達式1 ! 表達式2 #條件求反
文件表達式
test File1 –ef File2 #兩個文件是否為同一個文件,可用於硬連接。主要判斷兩個文件是否指向同一個inode。
test File1 –nt File2 #判斷文件1是否比文件2新
test File1 –ot File2 #判斷文件1比是否文件2舊
test –b file #文件是否塊設備文件
test –c File #文件並且是字元設備文件
test –d File #文件並且是目錄
test –e File #文件是否存在 (常用)
test –f File #文件是否為正規文件 (常用)
test –g File #文件是否是設置了組id
test –G File #文件屬於的有效組ID
test –h File #文件是否是一個符號鏈接(同-L)
test –k File #文件是否設置了Sticky bit位
test –b File #文件存在並且是塊設備文件
test –L File #文件是否是一個符號鏈接(同-h)
test –o File #文件的屬於有效用戶ID
test –p File #文件是一個命名管道
test –r File #文件是否可讀
test –s File #文件是否是非空白文件
test –t FD #文件描述符是在一個終端打開的
test –u File #文件存在並且設置了它的set-user-id位
test –w File #文件是否存在並可寫
test –x File #文件屬否存在並可執行
字元串表達式
test string #string不為空
test –n 字元串 #字元串的長度非零
test –z 字元串 #字元串的長度是否為零
test 字元串1=字元串2 #字元串是否相等,若相等返回true
test 字元串1==字元串2 #字元串是否相等,若相等返回true
test 字元串1!=字元串2 #字元串是否不等,若不等反悔false
test 字元串1>字元串2 # 在排序時,string1 在 string2 之後
test 字元串1<字元串2 # 在排序時,string1 在 string2 之前
整數表達式
test 整數1 -eq 整數2 #整數相等
test 整數1 -ge 整數2 #整數1大於等於整數2
test 整數1 -gt 整數2 #整數1大於整數2
test 整數1 -le 整數2 #整數1小於等於整數2
test 整數1 -lt 整數2 #整數1小於整數2
test 整數1 -ne 整數2 #整數1不等於整數2
以上表達式摘自test - shell環境中測試條件表達式工具,test 是測試條件表達式的工具,test 後面部分的內容可以用於if
條件判斷中。
WHILE 和 UNTIL 迴圈
再接之前的腳本來講解 while 的用法
#!/bin/bash
#
while true
do
read -p "please input a positive number: " num
expr $num + 1 &> /dev/null
if [ $? -eq 0 ];then
if [ `expr $num \> 0` -eq 1 ];then
for((i=1;i<=$num;i++))
do
sum=`expr $sum + $i`
done
echo "1+2+3+....+$num = $sum"
exit
fi
fi
echo "error,input enlegal"
done
前面也說過,這個腳本的目的是接收一個 num,如果輸入的 num 不是一個整數就一直讓用戶輸入,直到輸入的 num 是一個整數為止。這裡就用到了 while 迴圈,並且將迴圈條件設置為 true,也就是一個永久的迴圈。迴圈不能終止,按照邏輯我們要在用戶輸入整數並完成計算之後推出程式,所以這裡通過exit
來退出程式,這裡也可以使用break
來跳出迴圈。我們還可以配合使用continue
表示繼續執行,這裡沒有舉例說明。
while命令退出狀態不為0時終止迴圈,而until命令則剛好相反。除此之外,until命令與while命令很相似。until迴圈會在接收到為0的退出狀態時終止。在while-count腳本中,迴圈會一直重覆到count變數小於等於5。使用until改寫腳本也可以達到相同的效果。
#!/bin/bash
# until-count: display a series of numbers
count=1
until [ $count -gt 5 ]; do
echo $count
count=$((count + 1))
done
echo "Finished."
將測試表達式改寫為count –gt 5 until
就可以在合適的時刻終止迴圈。選擇使用while還是until,通常取決於哪種迴圈能夠允許程式員寫出最明瞭的測試表達式。
case 分支
前面講了使用if
做條件判斷,在其他語言比如 C++ 或者 Java 等中都存在switch..case..
這樣的語句,shell 也提供了case
這個多選項符合命令,它的命令格式是這樣的:
case word in
[pattern [| pattern]...) commands ;;]...
esac
在這裡我想舉一個做算數運算的例子,這和例子與下一節講解的函數相關,其中用到了case
,但是即使不瞭解函數怎麼使用,也不會對理解case
的運用造成影響。
#!/bin/bash
#
function calcu
{
case $2 in
+)
echo "`expr $1 + $3`"
;;
-)
echo "`expr $1 - $3`"
;;
\*)
echo "`expr $1 \* $3`"
;;
/)
echo "`expr $1 / $3`"
;;
esac
}
calcu $1 $2 $3
這個腳本希望做的是一次算數運算,根據操作符是+ - * /
來進行運算。
for 迴圈
現在到了流控制的最後一節了,for 迴圈其實在文章一開始我們就見過了,在文章最開始我舉了兩個例子:
# 獲取該文件夾下尾碼為 jpg 結尾的列表
for image in `ls *.jpg`
do
....
done
# 輸出 0-9 共 10 個數字
for ((i=0; i<10; i++));
do
echo ${i}
done
第一種是傳統的形式,和 python 中的 for 迴圈很像,我們可以像這樣for i in A B C D;do echo $i; done
使用 for 迴圈,可以將迴圈的內容就當成 python 中的一個列表,也可以像for i in {A..E};do echo $i; done
這樣創建字元列表。
第二種方式就是 C 語言的形式了for ((i=0; i<10; i++))
,比較常規也沒什麼值得講的。
函數
在上一節中,我們介紹了 shell 中的流控制的語法:if, while, until, case和 for。再之前我們講了變數、字元串和數學運算。到這一節就可以講一下函數這個話題了。
瞭解了上面這些內容理論上已經能夠寫出任何的程式的,不過寫程式的過程中會有許多類似的代碼,如果全部重新寫一遍程式就會顯得冗長,所以一般的做法就是將可以復用的代碼抽取出來形成函數。shell 自然也支持函數的使用,接下里就看看在 shell 中怎麼定義和使用函數。
首先看 shell 中函數是怎麼定義的。shell 中的函數有兩種定義格式,使用任意一種都可以。
name()
{
command1
command2
...
commandn
}
function name
{
command1
command2
...
commandn
}
我比較習慣用第二種形式,你可以選擇任何一種方式,不過我接下來的例子是按照第二種定義方式。
我們知道了函數定義的架構,但是如果你用過其他編程語言會發現它沒有參數列表,也沒有返回值,這在一開始也讓我覺得很困惑,但是我們在變數那一節學過特殊變數的含義,其中有一個變數是$0
表示函數的名稱,shell 中的變數是通過命令行鍵入,再用$1 $2 $3
讀取的。這就和 C++ 或者 Java 中的主函數讀取參數一個道理,char** argv
和String[] args
就是由命令行鍵入的參數列表。
下麵就用一個具體函數的例子進行說明,這個例子在 流控制——case 這一節也講過,但是沒有講完:
#!/bin/bash
#
function calcu
{
case $2 in
+)
echo "`expr $1 + $3`"
;;
-)
echo "`expr $1 - $3`"
;;
\*)
echo "`expr $1 \* $3`"
;;
/)
echo "`expr $1 / $3`"
;;
esac
}
calcu $1 $2 $3
echo ""calcu $1 $2 $3""
首先這個腳本的文件名為 calcu,其中定義了一個函數 calcu,採用的是第二種函數定義方式,在函數體中我們利用case
做了一個多條件判斷。
在腳本的結尾我們調用了 calcu 這個函數,並將輸入了三個參數,緊接著為了給大家看到三個參數分別是什麼我選擇將其列印出來。調用函數的過程是這樣的:
ubuntu@VM-0-2-ubuntu:/tmp$ ./calcu.sh 5 + 3
8
calcu 5 + 3
可以看到在這裡$1 = 5, $2 = +, $3 = 3
,這就是 shell 中傳遞參數的方式。
再看 shell 中返回值這個問題,shell 有兩種返回值的方式,一種是使用return
,一種是使用echo
。
- 使用
return
- 使用 return 返回值,只能返回 1-255 的整數
- 函數使用 return 返回值。通常只能用來供其他地方調用獲取狀態,因此通常僅返回0或1;0表示成功,1表示失敗
- 使用
echo
- 使用 echo 可以返回任何字元串結果
- 通常用於返回數據,比如一個字元串值或者列表值
echo
的內容作為返回值可以看一下上面這個例子,這裡再舉一個return
來返回值的例子。
#!/bin/bash
#
this_pid=$$
function is_nginx_running
{
ps -ef | grep nginx | grep -v grep | grep -v $this_pid &> /dev/null
if [ $? -eq 0 ];then
return
else
return 1
fi
}
is_nginx_running && echo "Nginx is running" || echo "Nginx is stoped"
和前面說過的退出狀態一樣,return 也是 0 表示函數執行成功,其他表示執行失敗。這裡舉的例子是通過查看 Nginx 的進程來來確認 Nginx 是否運行。
首先是用$$
來接收這個 shell 腳本的 Pid,因為腳本名字中帶有 Nginx 就需要將其利用 Pid 過濾掉。還記得之前講的的退出狀態麽,如果 ps 命令找到了 nginx 進程退出狀態就會是 0,表示成功。最後就通過return
來返回 nginx 是否正常運行。
之後可以用後臺掛起的形式運行這個腳本,將其作為 nginx 的守護進程:nohup sh nginx.sh &
,使用tail -f nohup.out
來查看監聽結果。
局部變數和全局變數
講到函數就還有一個作用域的問題需要討論,shell 中的局部變數、全局變數和一般編程語言沒什麼區別。
#!/bin/bash
#
var1="Hello world"
function test
{
local var2=87
}
test
echo $var1
echo $var2
這裡給到一個腳本自行體會一下即可。
函數庫
基礎篇的最後一部分就用來介紹一下 shell 中的函數庫。函數庫是每一門編程語言中非常重要的一部分,比如說 C++ 中的標準庫,Java 中的 JDK,正式這些優秀的庫存在才讓編程變得更加高效。
shell 也是可以封裝自己的庫的,比如我現在下一個你要加加減乘除封裝成一個函數庫,作為之前 calcu 腳本的升級版,該函數庫實現以下幾個函數:
- 加法函數 add
- 減法函數 reduce
- 乘法函數 multiple
- 除法函數 divide
- 列印系統運行情況的函數 sys_load,該函數顯示記憶體運行情況,
function add
{
echo "`expr $1 + $2`"
}
function reduce
{
echo "`expr $1 - $2`"
}
function multiple
{
echo "`expr $1 \* $2`"
}
function divide
{
echo "`expr $1 / $2`"
}
function sys_load
{
echo "Memory Info"
echo
free -m
echo
echo "Disk Usage"
echo
df -h
echo
}
我們將上面文件封裝成一個函數庫 lib/base_function。
- 經常使用的重覆代碼封裝成函數文件
- 一般不直接執行,而是由其他腳本調用
接著用一個 shell 腳本 calculate.sh 調用函數庫中的函數
#!/bin/bash
#
. /root/lesson/3.5/lib/base_function
add 12 23
reduce 90 30
multiple 12 12
divide 12 2
編寫函數庫文件的建議
- 庫文件名的尾碼是任意的,但一般使用 .lib
- 庫文件通常沒有可執行選項
- 庫文件無序和腳本在同級目錄,只需在腳本中引用時指定
- 第一行一般使用 #/bin/echo, 輸出警告信息,避免用戶執行
總結
最後來做一個總結:
- 在文章開頭我們分辨了 shell 和 shell script 的概念
- 入門篇中主要介紹了變數,字元串和數學運算
- 基礎篇中主要介紹了流程式控制制的語法,以及函數的使用
- 本文中有 4 個相對複雜的 shell 腳本,涵蓋了本文所有知識點
當然 shell 的功能是很強大的,本文也只是介紹其非常基礎的使用方法,希望對大家有幫助.