大數據系列博客之 --- 深入簡出 Shell 腳本語言(高級篇)

来源:https://www.cnblogs.com/lsy131479/archive/2018/11/06/9914962.html
-Advertisement-
Play Games

首先聲明,此系列shell系列博客分為四篇發佈,分別是: 基礎篇:https://www.cnblogs.com/lsy131479/p/9914747.html 提升篇:https://www.cnblogs.com/lsy131479/p/9914897.html 高級篇:https://www ...


 

首先聲明,此系列shell系列博客分為四篇發佈,分別是:

  基礎篇:https://www.cnblogs.com/lsy131479/p/9914747.html

  提升篇:https://www.cnblogs.com/lsy131479/p/9914897.html

  高級篇:https://www.cnblogs.com/lsy131479/p/9914962.html

  面試篇:

 

10. Shell工具(重點)

10.1 cut

cut的工作就是,具體的說就是在文件中負責剪切數據用的。cut 命令從文件的每一行剪切位元組、字元和欄位並將這些位元組、字元和欄位輸出。

1.基本用法

cut [選項參數]  filename

 

說明:預設分隔符是製表符

2.選項參數說明

參數表

選項參數

功能

-f

列號,提取第幾列

-d

分隔符,按照指定分隔符分割列

 

3.案例實操

0)數據準備

 

[fsdm@hadoop101 datas]$ touch cut.txt
[fsdm@hadoop101 datas]$ vim cut.txt
bei shen
jing zhen
wo  wo
lai  lai
le  le

 

  註意:標紅部分第三行,第四行,第五行,中間是兩個空格 第一行,第二行是一個空格

1)切割cut.txt第一列

 

[fsdm@hadoop101 datas]$ cut -d " " -f 1 cut.txt 
bei
jing
wo
lai
le

 

(2)切割cut.txt第二

 

[fsdm@hadoop101 datas]$ cut -d " " -f 2,3 cut.txt 
shen
zhen

 

 

 

3)切割cut.txt第二、三

 

[fsdm@hadoop101 datas]$ cut -d " " -f 2,3 cut.txt 
shen
zhen
 wo
 lai
 le

 

4)在cut.txt文件中切割出guan

[fsdm@hadoop101 datas]$ cat cut.txt | grep "guan" | cut -d " " -f 1
guan

5選取系統PATH變數值2“:”開始後的所有路徑:

 

[fsdm@hadoop101 datas]$ echo $PATH
/usr/lib64/qt-3.3/bin:/usr/local/bin:/bin:/usr/bin:/usr/local/sbin:/usr/sbin:/sbin:/home/fsdm/bin

[fsdm@hadoop102 datas]$ echo $PATH | cut -d: -f 2-
/usr/local/bin:/bin:/usr/bin:/usr/local/sbin:/usr/sbin:/sbin:/home/fsdm/bin

 

(6)切割ifconfig 列印的IP地址

[fsdm@hadoop101 datas]$ ifconfig eth0 | grep "inet addr" | cut -d: -f 2 | cut -d" " -f1
192.168.1.102

 

10.2 sed

sed是一種編輯器,它一次處理一行內容。處理時,把當前處理的行存儲在臨時緩衝區中,稱為“模式空間”,接著用sed命令處理緩衝區中的內容,處理完成後,把緩衝區的內容送往屏幕。接著處理下一行,這樣不斷重覆,直到文件末尾。文件內容並沒有改變,除非你使用重定向存儲輸出。

 

1. 基本用法

 

sed [選項參數]  ‘command’  filename

 

2. 選項參數說

參數表

選項參數

功能

-e

直接在指令列模式上進行sed的動作編輯。

 

3. 命令功能描述

功能描述表

命令

功能描述

a 

新增,a的後面可以接字串,在下一行出現

d

刪除

s

查找並替換

4. 案例實操

0)數據準備

 

[fsdm@hadoop102 datas]$ touch sed.txt
[fsdm@hadoop102 datas]$ vim sed.txt
bei shen
jing zhen
wo  wo
lai  lai

le  le

 

1)將“mei nv”這個單詞插入到sed.txt第二行下,列印。

 

[fsdm@hadoop102 datas]$ sed '2a mei nv' sed.txt 
dong shen
guan zhen
mei nv
wo  wo
lai  lai

le  le
[fsdm@hadoop102 datas]$ cat sed.txt 
dong shen
guan zhen
wo  wo
lai  lai

le  le

 

註意:實際文件內容並沒有改變

 

2)刪除sed.txt文件所有包含wo的行

 

[fsdm@hadoop102 datas]$ sed '/wo/d' sed.txt
dong shen
guan zhen
lai  lai

le  le

 

3)將sed.txt文件中wo替換為ni

[fsdm@hadoop102 datas]$ sed 's/wo/ni/g' sed.txt 
dong shen
guan zhen
ni  ni
lai  lai

le  le

註意‘g’表示global,全部替換的意思

 

4)將sed.txt文件中的第二行刪除並將wo替換為ni

[fsdm@hadoop102 datas]$ sed -e '2d' -e 's/wo/ni/g' sed.txt 
dong shen
ni  ni
lai  lai

le  le

10.3 awk

一個強大的文本分析工具,把文件逐行的讀入,以空格為預設分隔符將每行切片,切開的部分再進行分析處理。

1. 基本用法

awk [選項參數] ‘pattern1{action1}  pattern2{action2}...’ filename

 

pattern:表示AWK在數據中查找的內容,就是匹配模式

action:在找到匹配內容時所執行的一系列命令

2. 選項參數說

參數表

選項參數

功能

-F

指定輸入文件折分隔符

-v

賦值一個用戶定義變數

3. 案例實操

0)數據準備

 

[fsdm@hadoop102 datas]$ sudo cp /etc/passwd ./

 

1)搜索passwd文件以root關鍵字開頭的所有行,並輸出該行的第7列。

 

[fsdm@hadoop102 datas]$ awk -F: '/^root/{print $7}' passwd 
/bin/bash

 

2)搜索passwd文件以root關鍵字開頭的所有行,並輸出該行的第1列和7,中間以“,”號分割。

 

[fsdm@hadoop102 datas]$ awk -F: '/^root/{print $1","$7}' passwd 
root,/bin/bash

 

註意:只有匹配了pattern的行才會執行action

3)只顯示/etc/passwd的第一列和第七列,以逗號分割,且在所有行前面添加列名usershell在最後一行添加"dahaige/bin/zuishuai"

 

[fsdm@hadoop102 datas]$ awk -F : 'BEGIN{print "user, shell"} {print $1","$7} END{print "dahaige,/bin/zuishuai"}' passwd
user, shell
root,/bin/bash
bin,/sbin/nologin
。。。
fsdm,/bin/bash
dahaige,/bin/zuishuai

 

註意:BEGIN 在所有數據讀取行之前執行;END 在所有數據執行之後執行。

 

4)將passwd文件中的用戶id增加數值1並輸出

 

[fsdm@hadoop102 datas]$ awk -v i=1 -F: '{print $3+i}' passwd
1
2
3
4

 

4. awk的內置變數

變數表

變數

說明

FILENAME

文件名

NR

已讀的記錄數

NF

瀏覽記錄的域的個數(切割,列的個數

5. 案例實操

1)統計passwd文件名,每行的行號,每行的列數

 

[fsdm@hadoop102 datas]$ awk -F: '{print "filename:"  FILENAME ", linenumber:" NR  ",columns:" NF}' passwd 
filename:passwd, linenumber:1,columns:7
filename:passwd, linenumber:2,columns:7
filename:passwd, linenumber:3,columns:7

 

  2)切割IP

 

[fsdm@hadoop102 datas]$ ifconfig eth0 | grep "inet addr" | awk -F: '{print $2}' | awk -F " " '{print $1}' 
192.168.1.102

 

  3)查詢sed.txt中空行所在的行號

 

[fsdm@hadoop102 datas]$ awk '/^$/{print NR}' sed.txt 
5

 

10.4 sort

sort命令是在Linux里非常有用,它將文件進行排序,並將排序結果標準輸出。

1. 基本語法

sort(選項)(參數)

參數表

選項

說明

-n

依照數值的大小排序

-r

以相反的順序來排序

-t

設置排序時所用的分隔字元

-k

指定需要排序的列

參數:指定待排序的文件列表

2. 案例實操

0)數據準備

 

[fsdm@hadoop102 datas]$ touch sort.sh
[fsdm@hadoop102 datas]$ vim sort.sh 
bb:40:5.4
hehe:20:4.2
haha:50:2.3
heihei:10:3.5
ss:30:1.6

 

1)按照“:”分割後的第三列倒序排序。

 

[fsdm@hadoop102 datas]$ sort -t : -nrk 3  sort.sh 
bb:40:5.4
hehe:20:4.2
heihei:10:3.5
haha:50:2.3
ss:30:1.6

 

 

 

高級篇結束,如需深入請閱讀後續篇章,如有疑問私信或評論指出

 


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • tune2fs tune2fs允許系統管理員在Linux ext2、ext3或ext4文件系統上調整各種可調的文件系統參數。這些選項的當前值可以使用-l選項顯示,也可以通過使用dumpe2fs (8)程式顯示。 此命令的適用範圍:RedHat、RHEL、Ubuntu、CentOS、SUSE、open ...
  • 格式:tar zcvf 壓縮後的路徑及包名 你要壓縮的文件 z:gzip壓縮 c:創建壓縮包 v:顯示打包壓縮解壓過程 f:接著壓縮 t:查看壓縮包內容 x:解壓 X:指定文件列表形式排除不需要打包壓縮的文件或目錄 -exclude:指定排除文件或目錄不需要打包壓縮的文件或目錄(也可以用正則匹配/通 ...
  • 1、前言 新購置一臺便宜伺服器做資料庫伺服器,減輕Web伺服器的壓力。 為了安全性,root密碼設置的非常複雜(隨機生成),厭倦了拷貝密碼登陸的歷史。 Putty基本用法都不會的請先花10分鐘自行學習。 2、開始 1、用PuTTY SSH 密鑰生成工具puttygen.exe生成密鑰 生成的密鑰類型 ...
  • 1、對虛擬機進行設置,點擊該虛擬機的設置在網路適配器下將網路連接設置為NAT模式。 2、對虛擬機進行設置,點擊虛擬機左上方的編輯-->虛擬網路編輯器,將WMnet信息設置為NAT模式,其它的無需改動,預設即可。 3、在虛擬機中vi /etc/sysconfig/network-scripts/ifc ...
  • Linux記憶體文件系統:可滿足高IO的要求 ramdisk: 基於虛擬在記憶體中的其他文件系統(ex2fs)。 掛載方式:mount /dev/ram /mnt/ramdisk ramfs: 物理記憶體文件系統,只存在於物理記憶體中。其大小也不是固定的,而是隨著所需要的空間動態得增減。 掛載方式:moun ...
  • 指令 cal 查看日曆date 查看日期bc 計算器ls 查看文件ls -l 查看具體信息(許可權,時間等)ls -a 查看所有的文件包括隱藏文件ll 作用同上d* 開頭的都是文件夾,- 開頭的都是文件who am i 用戶信息cat "文件名" 在控制台直接顯示文件內容vi/vim "文件名" 創建 ...
  • 一、命令介紹 top 命令用於動態的監控進程活動與系統負載信息。 格式為 top [參數] 二、實例 直接運行top命令 top命令執行結果的前五行為系統整體的統計信息,代表含義如下: 第1行:系統時間、運行時間、登陸終端數、系統負載(分別為1分鐘、5分鐘、15分鐘內的平均值) 第2行:進程總數、運 ...
  • 該問題,有很多種方法,但是很多方法要麼這個有問題,要麼那個有問題,最後終於找到一種沒問題的方法。記錄一下: 參考地址:https://www.jianshu.com/p/d18ff36a78d6?from=singlemessage Login.py(登錄視窗)文件 Main.py(主視窗)文件 ...
一周排行
    -Advertisement-
    Play Games
  • 示例項目結構 在 Visual Studio 中創建一個 WinForms 應用程式後,項目結構如下所示: MyWinFormsApp/ │ ├───Properties/ │ └───Settings.settings │ ├───bin/ │ ├───Debug/ │ └───Release/ ...
  • [STAThread] 特性用於需要與 COM 組件交互的應用程式,尤其是依賴單線程模型(如 Windows Forms 應用程式)的組件。在 STA 模式下,線程擁有自己的消息迴圈,這對於處理用戶界面和某些 COM 組件是必要的。 [STAThread] static void Main(stri ...
  • 在WinForm中使用全局異常捕獲處理 在WinForm應用程式中,全局異常捕獲是確保程式穩定性的關鍵。通過在Program類的Main方法中設置全局異常處理,可以有效地捕獲並處理未預見的異常,從而避免程式崩潰。 註冊全局異常事件 [STAThread] static void Main() { / ...
  • 前言 給大家推薦一款開源的 Winform 控制項庫,可以幫助我們開發更加美觀、漂亮的 WinForm 界面。 項目介紹 SunnyUI.NET 是一個基於 .NET Framework 4.0+、.NET 6、.NET 7 和 .NET 8 的 WinForm 開源控制項庫,同時也提供了工具類庫、擴展 ...
  • 說明 該文章是屬於OverallAuth2.0系列文章,每周更新一篇該系列文章(從0到1完成系統開發)。 該系統文章,我會儘量說的非常詳細,做到不管新手、老手都能看懂。 說明:OverallAuth2.0 是一個簡單、易懂、功能強大的許可權+可視化流程管理系統。 有興趣的朋友,請關註我吧(*^▽^*) ...
  • 一、下載安裝 1.下載git 必須先下載並安裝git,再TortoiseGit下載安裝 git安裝參考教程:https://blog.csdn.net/mukes/article/details/115693833 2.TortoiseGit下載與安裝 TortoiseGit,Git客戶端,32/6 ...
  • 前言 在項目開發過程中,理解數據結構和演算法如同掌握蓋房子的秘訣。演算法不僅能幫助我們編寫高效、優質的代碼,還能解決項目中遇到的各種難題。 給大家推薦一個支持C#的開源免費、新手友好的數據結構與演算法入門教程:Hello演算法。 項目介紹 《Hello Algo》是一本開源免費、新手友好的數據結構與演算法入門 ...
  • 1.生成單個Proto.bat內容 @rem Copyright 2016, Google Inc. @rem All rights reserved. @rem @rem Redistribution and use in source and binary forms, with or with ...
  • 一:背景 1. 講故事 前段時間有位朋友找到我,說他的窗體程式在客戶這邊出現了卡死,讓我幫忙看下怎麼回事?dump也生成了,既然有dump了那就上 windbg 分析吧。 二:WinDbg 分析 1. 為什麼會卡死 窗體程式的卡死,入口門檻很低,後續往下分析就不一定了,不管怎麼說先用 !clrsta ...
  • 前言 人工智慧時代,人臉識別技術已成為安全驗證、身份識別和用戶交互的關鍵工具。 給大家推薦一款.NET 開源提供了強大的人臉識別 API,工具不僅易於集成,還具備高效處理能力。 本文將介紹一款如何利用這些API,為我們的項目添加智能識別的亮點。 項目介紹 GitHub 上擁有 1.2k 星標的 C# ...