043.集群存儲-共用存儲

来源:https://www.cnblogs.com/itzgr/archive/2020/03/26/12573644.html

一 共用存儲 1.1 共用存儲作用 Kubernetes對於有狀態的容器應用或者對數據需要持久化的應用,不僅需要將容器內的目錄掛載到宿主機的目錄或者emptyDir臨時存儲捲,而且需要更加可靠的存儲來保存應用產生的重要數據,以便容器應用在重建之後仍然可以使用之前的數據。 1.2 共用存儲資源 為了能 ...


一 共用存儲

1.1 共用存儲作用

Kubernetes對於有狀態的容器應用或者對數據需要持久化的應用,不僅需要將容器內的目錄掛載到宿主機的目錄或者emptyDir臨時存儲捲,而且需要更加可靠的存儲來保存應用產生的重要數據,以便容器應用在重建之後仍然可以使用之前的數據。

1.2 共用存儲資源

為了能夠屏蔽底層存儲實現的細節,便於使用和管理,Kubernetes從1.0版本就引入PersistentVolume(PV)和PersistentVolumeClaim(PVC)兩個資源對象來實現對存儲的管理子系統。
PV是對底層網路共用存儲的抽象,將共用存儲定義為一種“資源”,比如Node也是一種容器應用可以“消費”的資源。PV由管理員創建和配置,它與共用存儲的具體實現直接相關,例如GlusterFS、iSCSI、RBD或GCE或AWS公有雲提供的共用存儲,通過插件式的機制完成與共用存儲的對接,以供應用訪問和使用。
PVC則是用戶對存儲資源的一個“申請”。就像Pod“消費”Node的資源一樣,PVC能夠“消費”PV資源。PVC可以申請特定的存儲空間和訪問模式。
若使用PVC“申請”到一定的存儲空間仍然不能滿足應用對存儲設備的需求。比如通常應用程式都會對存儲設備的特性和性能有不同的要求,包括讀寫速度、併發性能、數據冗餘等更高的要求,因此Kubernetes從1.4版本開始引入了一個新的資源對象StorageClass,用於標記存儲資源的特性和性能。
Kubernetes 1.6版本時,StorageClass和動態資源供應的機制得到了完善,實現了存儲捲的按需創建。通過StorageClass的定義,管理員可以將存儲資源定義為某種類別(Class),正如存儲設備對於自身的配置描述(Profile),例如“快速存儲”“慢速存儲”“有數據冗餘”“無數據冗餘”等。用戶根據StorageClass的描述就能夠直觀地得知各種存儲資源的特性,就可以根據應用對存儲資源的需求去申請存儲資源。
Kubernetes從1.9版本開始引入容器存儲介面Container Storage Interface(CSI)機制,目標是在Kubernetes和外部存儲系統之間建立一套標準的存儲管理介面,通過該介面為容器提供存儲服務,類似於CRI(容器運行時介面)和CNI(容器網路介面)。

二 PV

2.1 PV詳解

PV作為存儲資源,主要包括存儲能力、訪問模式、存儲類型、回收策略、後端存儲類型等關鍵信息的設置。
示例1:如下聲明的PV具有如下屬性:5GiB存儲空間,訪問模式為ReadWriteOnce,存儲類型為slow(要求在系統中已存在名為slow的StorageClass),回收策略為Recycle,並且後端存儲類型為nfs(設置了NFS Server的IP地址和路徑)。
[[email protected] study]# vi nfspv01.yaml
  1 apiVersion: v1
  2 kind: PersistentVolume
  3 metadata:
  4   name: pv1
  5 spec:
  6   capacity:
  7     storage: 5Gi
  8   accessModes:
  9   - ReadWriteOnce
 10   persistentVolumeReclaimPolicy: Recycle
 11   storageClassName: slow
 12   nfs:
 13     path: /tmp
 14     server: 172.17.0.2
Kubernetes主要支持的PV類型如下:
  • AWSElasticBlockStore:AWS公有雲提供的ElasticBlockStore。
  • AzureFile:Azure公有雲提供的File。
  • AzureDisk:Azure公有雲提供的Disk。
  • CephFS:一種開源共用存儲系統。
  • FC(FibreChannel):光纖存儲設備。
  • FlexVolume:一種插件式的存儲機制。
  • Flocker:一種開源共用存儲系統。
  • GCEPersistentDisk:GCE公有雲提供的PersistentDisk。
  • Glusterfs:一種開源共用存儲系統。
  • HostPath:宿主機目錄,僅用於單機測試。
  • iSCSI:iSCSI存儲設備。
  • Local:本地存儲設備,從Kubernetes1.7版本引入,到1.14版本時更新為穩定版,目前可以通過指定塊(Block)設備提供LocalPV,或通過社區開發的sig-storage-local-static-provisioner插件(https://github.com/kubernetes-sigs/sigstorage-local-static-provisioner)來管理LocalPV的生命周期。
  • NFS:網路文件系統。
  • PortworxVolumes:Portworx提供的存儲服務。
  • QuobyteVolumes:Quobyte提供的存儲服務。
  • RBD(CephBlockDevice):Ceph塊存儲。
  • ScaleIOVolumes:DellEMC的存儲設備。
  • StorageOS:StorageOS提供的存儲服務。
  • VsphereVolume:VMWare提供的存儲系統。

2.2 PV配置參數

  • 存儲能力(Capacity)
描述存儲設備具備的能力,目前僅支持對存儲空間的設置(storage=xx),未來可能加入IOPS、吞吐率等指標的設置。
  • 存儲捲模式(VolumeMode)
Kubernetes從1.13版本開始引入存儲捲類型的設置(volumeMode=xxx),可選項包括Filesystem(文件系統)和Block(塊設備),預設值為Filesystem。目前有以下PV類型支持塊設備類型:
    • AWSElasticBlockStore
    • AzureDisk
    • FC
    • GCEPersistentDisk
    • iSCSI
    • Localvolume
    • RBD(CephBlockDevice)
    • VsphereVolume(alpha)
示例1:使用塊設備的PV定義。
[[email protected] study]# vi blockpv01.yaml
  1 apiVersion: v1
  2 kind PersistentVolume
  3 metadata:
  4   name: block-pv
  5 spec:
  6   capacity:
  7     storage: 10Gi
  8   accessNodes:
  9   - ReadWriteOnce
 10   persistentVolumeReclaimPolicy: Retain
 11   volumeMode: Block
 12   fc:
 13     targetWWNs: ["50060e801049cfd1"]
 14     lun: 0
 15     readOnly: false
 16 
  • 訪問模式(Access Modes)
對PV進行訪問模式的設置,用於描述用戶的應用對存儲資源的訪問許可權,訪問模式如下:
    • ReadWriteOnce(RWO):讀寫許可權,並且只能被單個Node掛載。
    • ReadOnlyMany(ROX):只讀許可權,允許被多個Node掛載。
    • ReadWriteMany(RWX):讀寫許可權,允許被多個Node掛載。
某些PV可能支持多種訪問模式,但PV在掛載時只能使用一種訪問模式,多種訪問模式不能同時生效。
  • 存儲類別(Class)PV
可以設定其存儲的類別,通過storageClassName參數指定一個StorageClass資源對象的名稱。具有特定類別的PV只能與請求了該類別的PVC進行綁定。未設定類別的PV則只能與不請求任何類別的PVC進行綁定。
  • 回收策略(ReclaimPolicy)
通過PV定義中的persistentVolumeReclaimPolicy欄位進行設置,可選項保留(Retain),回收(Recycle)和刪除(Delete)。
    • 保留:保留數據,需要手工處理。
    • 回收空間:簡單清除文件的操作(例如執行rm-rf/thevolume/*命令)。
    • 刪除:與PV相連的後端存儲完成Volume的刪除操作(如AWSEBS、GCEPD、AzureDisk、OpenStackCinder等設備的內部Volume清理)。
目前,只有NFS和HostPath兩種類型的存儲支持Recycle策略;
AWSEBS、GCEPD、Azure Disk和Cinder volumes支持Delete策略。
  • 掛載參數(MountOptions)
在將PV掛載到一個Node上時,根據後端存儲的特點,可能需要設置額外的掛載參數,可以根據PV定義中的mountOptions欄位進行設置。
示例2:對一個類型為gcePersistentDisk的PV設置掛載參數。
[[email protected] study]# vi gccpv01.yaml
  1 apiVersion: "v1"
  2 kind: "PersistentVolume"
  3 metadata:
  4   name: gce-disk-1
  5 spec:
  6   capacity:
  7     storage: "10Gi"
  8   accessModes:
  9   - "ReadWriteOnce"
 10   mountOptions:
 11   - hard
 12   - nolock
 13   - nfsvers=3
 14   gcePersistentDisk:
 15     fsType: "ext4"
 16     pdName: "gce-disk-1"
 17 
提示:以下PV類型支持設置掛載參數:
    • AWSElasticBlockStore
    • AzureDisk
    • AzureFile
    • CephFS
    • Cinder(OpenStackblockstorage)
    • GCEPersistentDisk
    • Glusterfs
    • NFS
    • QuobyteVolumes
    • RBD(CephBlockDevice)
    • StorageOS
    • VsphereVolume
    • iSCSI
  • 節點親和性(NodeAffinity)
PV可以設置節點親和性來限制只能通過某些Node訪問Volume,可以在PV定義中的nodeAffinity欄位進行設置。使用這些Volume的Pod將被調度到滿足條件的Node上。
示例3:
[[email protected] study]# vi affpv01.yaml
  1 apiVersion: v1
  2 kind: PersistentVolume
  3 metadata:
  4   name: example-local-pv
  5 spec:
  6   capacity:
  7     storage: 5Gi
  8   accessModes:
  9   - ReadWriteOnce
 10   persistentVolumeReclaimPolicy: Delete
 11   storageClassName: local-storage
 12   local:
 13     path: /mnt/disks/ssd1
 14   nodeAffinity:
 15     required:
 16       nodeSelectorTerms:
 17       - mathExpressions:
 18         - key: kubernetes.io/hostname
 19           operator: In
 20           values:
 21           - my-node
 22 
註意:這個參數僅用於Local類型的存儲捲。

三 PVC詳解

3.1 PVC使用

PVC作為用戶對存儲資源的需求申請,主要包括存儲空間請求、訪問模式、PV選擇條件和存儲類別等信息的設置。
示例1:申明PVC,具有如下屬性:申請8GiB存儲空間,訪問模式為ReadWriteOnce,PV選擇條件為包含標簽“release=stable”並且包含條件為“environment In [dev]”的標簽,存儲類別為“slow”(要求在系統中已存在名為slow的StorageClass)。
[[email protected] study]# vi myclaim01.yaml
  1 kind: PersistentVolumeClaim
  2 apiVersion: v1
  3 metadata:
  4   name: myclaim
  5 spec:
  6   accessModes:
  7   - ReadWriteOnce
  8   resources:
  9     requests:
 10       storage: 8Gi
 11   storageClassName: slow
 12   selector:
 13     matchLabels:
 14       release: "stable"
 15     matchExpressions:
 16     - {key: enviroment, operator: In, values: [dev] }
 17 

3.2 PVC配置詳解

PVC的關鍵配置參數說明如下:
  • 資源請求(Resources):描述對存儲資源的請求,目前僅支持request.storage的設置,即存儲空間大小。
  • 訪問模式(AccessModes):PVC也可以設置訪問模式,用於描述用戶應用對存儲資源的訪問許可權。其三種訪問模式的設置與PV的設置相同。
  • 存儲捲模式(VolumeModes):PVC也可以設置存儲捲模式,用於描述希望使用的PV存儲捲模式,包括文件系統和塊設備。
  • PV選擇條件(Selector):通過對LabelSelector的設置,可使PVC對於系統中已存在的各種PV進行篩選。系統將根據標簽選出合適的PV與該PVC進行綁定。選擇條件可以使用matchLabels和matchExpressions進行設置,如果兩個欄位都設置了,則Selector的邏輯將是兩組條件同時滿足才能完成匹配。
  • 存儲類別(Class):PVC在定義時可以設定需要的後端存儲的類別(通過storageClassName欄位指定),以減少對後端存儲特性的詳細信息的依賴。只有設置了該Class的PV才能被系統選出,並與該PVC進行綁定。PVC也可以不設置Class需求。如果storageClassName欄位的值被設置為空(storageClassName=""),則表示該PVC不要求特定的Class,系統將只選擇未設定Class的PV與之匹配和綁定。PVC也可以完全不設置storageClassName欄位,此時將根據系統是否啟用了名為DefaultStorageClass的admissioncontroller進行相應的操作。
  • 未啟用DefaultStorageClass:等效於PVC設置storageClassName的值為空(storageClassName=""),即只能選擇未設定Class的PV與之匹配和綁定。
  • 啟用DefaultStorageClass:要求集群管理員已定義預設的StorageClass。如果在系統中不存在預設的StorageClass,則等效於不啟用DefaultStorageClass的情況。如果存在預設的StorageClass,則系統將自動為PVC創建一個PV(使用預設StorageClass的後端存儲),並將它們進行綁定。
提示:設置預設StorageClass的方法為,在StorageClass的定義中加上一個annotation“storageclass.kubernetes.io/isdefault-class=true”。如果將多個StorageClass都定義為default,則由於不唯一,系統將無法為PVC創建相應的PV。
註意,PVC和PV都受限於Namespace,PVC在選擇PV時受到Namespace的限制,只有相同Namespace中的PV才可能與PVC綁定。Pod在引用PVC時同樣受Namespace的限制,只有相同Namespace中的PVC才能掛載到Pod內。當Selector和Class都進行了設置時,系統將選擇兩個條件同時滿足的PV與之匹配。另外,如果資源供應使用的是動態模式,即沒有預先定義PV,僅通過StorageClass交給系統自動完成PV的動態創建,那麼PVC再設定Selector時,系統將無法為其供應任何存儲資源。
在啟用動態供應模式的情況下,一旦用戶刪除了PVC,與之綁定的PV也將根據其預設的回收策略“Delete”被刪除。如果需要保留PV(用戶數據),則在動態綁定成功後,用戶需要將系統自動生成PV的回收策略從“Delete”改成“Retain”。

四 PV和PVC生命周期管理

4.1 PV生命周期

某個PV在生命周期中可能處於以下4個階段(Phaes)之一。
  • Available:可用狀態,還未與某個PVC綁定。
  • Bound:已與某個PVC綁定。
  • Released:綁定的PVC已經刪除,資源已釋放,但沒有被集群回收。
  • Failed:自動資源回收失敗。

4.2 PVC生命周期

將PV看作可用的存儲資源,PVC則是對存儲資源的需求,PV和PVC的相互關係遵循如下所示關係:
clipboard

4.3 資源供應

Kubernetes支持兩種資源的供應模式:靜態模式(Static)和動態模式(Dynamic),資源供應的目的就是創建好PV。
  1. 靜態模式:集群管理員手工創建許多PV,在定義PV時需要將後端存儲的特性進行設置。
  2. 動態模式:集群管理員無須手工創建PV,而是通過StorageClass的設置對後端存儲進行描述,標記為某種類型。此時要求PVC對存儲的類型進行聲明,系統將自動完成PV的創建及與PVC的綁定。
註意;PVC可以聲明Class為"",說明該PVC禁止使用動態模式。

4.4 資源綁定

在用戶定義好PVC之後,系統將根據PVC對存儲資源的請求(存儲空間和訪問模式)在已存在的PV中選擇一個滿足PVC要求的PV,一旦找到,就將該PV與用戶定義的PVC進行綁定,用戶的Pod應用就可以使用這個PVC了。
如果在系統中沒有滿足PVC要求的PV,PVC則會無限期處於Pending狀態,直到等到系統管理員創建了一個符合其要求的PV。
PV一旦綁定到某個PVC上,就會被這個PVC獨占,不能再與其他PVC進行綁定了。在這種情況下,當PVC申請的存儲空間比PV的少時,整個PV的空間就都能夠為PVC所用,可能會造成資源的浪費。
如果資源供應使用的是動態模式,則系統在為PVC找到合適的StorageClass後,將自動創建一個PV並完成與PVC的綁定。

4.5 資源使用

Pod使用Volume的定義,將PVC掛載到容器內的某個路徑進行使用。Volume的類型為persistentVolumeClaim。在容器應用掛載了一個PVC後,就能被持續獨占使用。
不過,多個Pod可以掛載同一個PVC,由應用程式自身考慮多個實例共同訪問一塊存儲空間的問題。

4.6 資源釋放

當用戶對存儲資源使用完畢後,用戶可以刪除PVC,與該PVC綁定的PV將會被標記為“已釋放”,但還不能立刻與其他PVC進行綁定。通過之前PVC寫入的數據可能還被留在存儲設備上,只有在清除之後該PV才能再次使用。

4.7 資源回收

對於PV,可以設定回收策略,用於設置與之綁定的PVC釋放資源之後如何處理遺留數據的問題。只有PV的存儲空間完成回收,才能供新的PVC綁定和使用。
靜態資源供應模式下,PV、PVC、StorageClass及Pod使用PVC的原理釋義說明:
clipboard
動態資源供應模式下,PV、PVC、StorageClass及Pod使用PVC的原理釋義說明:
clipboard
提示:更多StorageClass見《044.集群存儲-StorageClass》。
更多存儲類型參考:https://www.cnblogs.com/Irving/p/9847060.html

您的分享是我們最大的動力!

更多相關文章
  • 在微信開發H5頁面的時候,往往藉助於WeUI或者Jquery WeUI等基礎上進行界面效果的開發,由於本人喜歡在Asp.net的Web界面上使用JQuery,因此比較傾向於使用 jQuery WeUI,本篇隨筆結合官方案例和自己的項目實際開發過程的經驗總結,對在H5頁面開發過程中設計到的界面控制項進行... ...
  • AuthorizeAttribute 和AuthorizeFilter是怎麼樣的一個關係?他們跟中間件又是怎樣協同工作的?本文一起來探索Asp.Net Core 3.x 的源代碼,深入解讀他們的關係和中間件之間的那些你不知道的事。 ...
  • 首先先來看下幾種標識的含義: /dev/null 表示空設備文件 0 表示stdin標準輸入 1 表示stdout標準輸出 2 表示stderr標準錯誤 先看/dev/null command > /dev/null相當於執行了command 1 > /dev/null。執行command產生了標準 ...
  • 下麵的操作基於mac OS Catalina(v10.15.3),抓包攔截工具基於Burp Suite v2.1.05。 下載證書 將Burp Suite 的證書下載到本地任意一個路徑下。如果使用其它抓包工具,自行搜索一下。 mac OS導入證書 1. 打開 2. 導入 3. 設置信任 這一步一定要 ...
  • 關機重啟命令shutdown選項與參數:shutdown [-krhc] [時間] [警告信息]-k:不要真的關機,只是發送警告信息出去-r:在將系統的服務停掉之後就重新啟動(常用)-h:將系統的服務停掉後,立即關機(常用)-c:取消已經在進行的shutdown命令內容時間:指定系統關機的時間,若沒... ...
  • 一、安裝準備工作 1、查看 Linux 相關信息(Linux 命令行操作) (1)查看 Linux 版本,用於下載對應的 mysql。 【查看 Linux 信息:】 uname -a (2)檢查是否已經安裝過 mysql。 【檢查 mysql 是否被安裝】 rpm -qa | grep -i mys ...
  • 使用方法: 使用示例: ...
  • 看煩了windows系統自帶滑鼠指針,是不是想要換掉它的衝動呢? 如果是的,請跟我一起把windows系統指針換成呆萌可愛胖嘟嘟的小手指。 先看效果 首先獲得資源再說 點擊此處獲取萌萌手指 //1.打開運行界面 win + R //2.打開控制面板,在運行界面輸入control control 3. ...
一周排行
  • 前幾天發佈了 "抄抄《CSS 故障藝術》的動畫" 這篇文章,在這篇文章里介紹瞭如何使用Win2D繪製文字然後配合BlendEffect製作故障藝術的動畫。本來打算就這樣收手不玩這個動畫了,但後來又發現性能不符合理想。明明只是做做Resize動畫和用BlendEffect混合,為什麼性能會這麼差呢? ...
  • 控制條控制項: progressBar 不能按照你程式的進程自動變化,需認為計算,調整變化量 private void progressBar1_Click(object sender, EventArgs e) { this.progressBar1.Maximum = 100;//設置進度條最大長 ...
  • 首先創建一個asp.net core web應用程式 第二步 目前官方預置了7種模板項目供我們選擇。從中我們可以看出,既有我們熟悉的MVC、WebAPI,又新添加了Razor Page,以及結合比較流行的Angular、React前端框架的模板項目。 空項目模板 Program.cs using S ...
  • 對閉包的理解 1.對於成員變數和局部變數:成員變數就是方法外部,類的內部定義的變數;局部變數就是方法或語句塊內部定義的變數。局部變數必須初始化。 形式參數是局部變數,局部變數的數據存在於棧記憶體中。棧記憶體中的局部變數隨著方法的消失而消失。成員變數存儲在堆中的對象裡面,由垃圾回收器負責回收。 成員變數它 ...
  • Xamarin.Forms讀取並展示Android和iOS通訊錄 TerminalMACS客戶端 本文同步更新地址: https://dotnet9.com/11520.html https://terminalmacs.com/861.html 閱讀導航: 一、功能說明 二、代碼實現 三、源碼獲取 ...
  • 做下對文件複製操作相關的筆記: /// <summary> /// 文件幫助類 /// </summary> public class FileHelper { /// <summary> /// 複製一個目錄下所有文件到一個新目錄下 /// </summary> /// <param name=" ...
  • 前言 有一個東西叫做鴨子類型,所謂鴨子類型就是,只要一個東西表現得像鴨子那麼就能推出這玩意就是鴨子。 C 裡面其實也暗藏了很多類似鴨子類型的東西,但是很多開發者並不知道,因此也就沒法好好利用這些東西,那麼今天我細數一下這些藏在編譯器中的細節。 不是只有 和 才能 在 C 中編寫非同步代碼的時候,我們經 ...
  • [toc] 1.應用背景 底端設備有大量網路報文(位元組數組):心跳報文,數據採集報文,告警報文上報。需要有對應的報文結構去解析這些位元組流數據。 2.結構體解析 由此,我第一點就想到了用結構體去解析。原因有以下兩點: 2.1.結構體存在棧中 類屬於引用類型,存在堆中;結構體屬於值類型,存在棧中,在一個 ...
  • 《深入淺出 C#》 (第3版) [作者] (美) Andrew Stellman (美) Jennifer Greene[譯者] (中) 徐陽 丁小峰 等譯[出版] 中國電力出版社[版次] 2016年08月 第1版[印次] 2018年04月 第4次 印刷[定價] 148.00元 【引子】 要學習編程 ...
  • 記錄使用對象初始值設定項初始化對象。 using System; using System.Collections.Generic; namespace ConsoleApp2 { class Program { static void Main(string[] args) { // 使用構造函數 ...
x