043.集群存儲-共用存儲

一 共用存儲

1.1 共用存儲作用

1.2 共用存儲資源

二 PV

2.1 PV詳解

  1 apiVersion: v1
  2 kind: PersistentVolume
  3 metadata:
  4   name: pv1
  5 spec:
  6   capacity:
  7     storage: 5Gi
  8   accessModes:
  9   - ReadWriteOnce
 10   persistentVolumeReclaimPolicy: Recycle
 11   storageClassName: slow
 12   nfs:
 13     path: /tmp
 14     server: 172.17.0.2

• AWSElasticBlockStore：AWS公有雲提供的ElasticBlockStore。
• AzureFile：Azure公有雲提供的File。
• AzureDisk：Azure公有雲提供的Disk。
• CephFS：一種開源共用存儲系統。
• FC（FibreChannel）：光纖存儲設備。
• FlexVolume：一種插件式的存儲機制。
• Flocker：一種開源共用存儲系統。
• GCEPersistentDisk：GCE公有雲提供的PersistentDisk。
• Glusterfs：一種開源共用存儲系統。
• HostPath：宿主機目錄，僅用於單機測試。
• iSCSI：iSCSI存儲設備。
• Local：本地存儲設備，從Kubernetes1.7版本引入，到1.14版本時更新為穩定版，目前可以通過指定塊（Block）設備提供LocalPV，或通過社區開發的sig-storage-local-static-provisioner插件（https://github.com/kubernetes-sigs/sigstorage-local-static-provisioner）來管理LocalPV的生命周期。
• NFS：網路文件系統。
• PortworxVolumes：Portworx提供的存儲服務。
• QuobyteVolumes：Quobyte提供的存儲服務。
• RBD（CephBlockDevice）：Ceph塊存儲。
• ScaleIOVolumes：DellEMC的存儲設備。
• StorageOS：StorageOS提供的存儲服務。
• VsphereVolume：VMWare提供的存儲系統。

2.2 PV配置參數

• 存儲能力（Capacity）

• 存儲捲模式（VolumeMode）

• AWSElasticBlockStore
• AzureDisk
• FC
• GCEPersistentDisk
• iSCSI
• Localvolume
• RBD（CephBlockDevice）
• VsphereVolume（alpha）

  1 apiVersion: v1
  2 kind PersistentVolume
  3 metadata:
  4   name: block-pv
  5 spec:
  6   capacity:
  7     storage: 10Gi
  8   accessNodes:
  9   - ReadWriteOnce
 10   persistentVolumeReclaimPolicy: Retain
 11   volumeMode: Block
 12   fc:
 13     targetWWNs: ["50060e801049cfd1"]
 14     lun: 0
 15     readOnly: false
 16 

• 訪問模式（Access Modes）

• ReadWriteOnce（RWO）：讀寫許可權，並且只能被單個Node掛載。
• ReadOnlyMany（ROX）：只讀許可權，允許被多個Node掛載。
• ReadWriteMany（RWX）：讀寫許可權，允許被多個Node掛載。

• 存儲類別（Class）PV

• 回收策略（ReclaimPolicy）

• 保留：保留數據，需要手工處理。
• 回收空間：簡單清除文件的操作（例如執行rm-rf/thevolume/*命令）。
• 刪除：與PV相連的後端存儲完成Volume的刪除操作（如AWSEBS、GCEPD、AzureDisk、OpenStackCinder等設備的內部Volume清理）。

• 掛載參數（MountOptions）

  1 apiVersion: "v1"
  2 kind: "PersistentVolume"
  3 metadata:
  4   name: gce-disk-1
  5 spec:
  6   capacity:
  7     storage: "10Gi"
  8   accessModes:
  9   - "ReadWriteOnce"
 10   mountOptions:
 11   - hard
 12   - nolock
 13   - nfsvers=3
 14   gcePersistentDisk:
 15     fsType: "ext4"
 16     pdName: "gce-disk-1"
 17 

• AWSElasticBlockStore
• AzureDisk
• AzureFile
• CephFS
• Cinder(OpenStackblockstorage)
• GCEPersistentDisk
• Glusterfs
• NFS
• QuobyteVolumes
• RBD(CephBlockDevice)
• StorageOS
• VsphereVolume
• iSCSI

• 節點親和性（NodeAffinity）

  1 apiVersion: v1
  2 kind: PersistentVolume
  3 metadata:
  4   name: example-local-pv
  5 spec:
  6   capacity:
  7     storage: 5Gi
  8   accessModes:
  9   - ReadWriteOnce
 10   persistentVolumeReclaimPolicy: Delete
 11   storageClassName: local-storage
 12   local:
 13     path: /mnt/disks/ssd1
 14   nodeAffinity:
 15     required:
 16       nodeSelectorTerms:
 17       - mathExpressions:
 18         - key: kubernetes.io/hostname
 19           operator: In
 20           values:
 21           - my-node
 22 

三 PVC詳解

3.1 PVC使用

  1 kind: PersistentVolumeClaim
  2 apiVersion: v1
  3 metadata:
  4   name: myclaim
  5 spec:
  6   accessModes:
  7   - ReadWriteOnce
  8   resources:
  9     requests:
 10       storage: 8Gi
 11   storageClassName: slow
 12   selector:
 13     matchLabels:
 14       release: "stable"
 15     matchExpressions:
 16     - {key: enviroment, operator: In, values: [dev] }
 17 

3.2 PVC配置詳解

• 資源請求（Resources）：描述對存儲資源的請求，目前僅支持request.storage的設置，即存儲空間大小。
• 訪問模式（AccessModes）：PVC也可以設置訪問模式，用於描述用戶應用對存儲資源的訪問許可權。其三種訪問模式的設置與PV的設置相同。
• 存儲捲模式（VolumeModes）：PVC也可以設置存儲捲模式，用於描述希望使用的PV存儲捲模式，包括文件系統和塊設備。
• PV選擇條件（Selector）：通過對LabelSelector的設置，可使PVC對於系統中已存在的各種PV進行篩選。系統將根據標簽選出合適的PV與該PVC進行綁定。選擇條件可以使用matchLabels和matchExpressions進行設置，如果兩個欄位都設置了，則Selector的邏輯將是兩組條件同時滿足才能完成匹配。
• 存儲類別（Class）：PVC在定義時可以設定需要的後端存儲的類別（通過storageClassName欄位指定），以減少對後端存儲特性的詳細信息的依賴。只有設置了該Class的PV才能被系統選出，並與該PVC進行綁定。PVC也可以不設置Class需求。如果storageClassName欄位的值被設置為空（storageClassName=""），則表示該PVC不要求特定的Class，系統將只選擇未設定Class的PV與之匹配和綁定。PVC也可以完全不設置storageClassName欄位，此時將根據系統是否啟用了名為DefaultStorageClass的admissioncontroller進行相應的操作。
• 未啟用DefaultStorageClass：等效於PVC設置storageClassName的值為空（storageClassName=""），即只能選擇未設定Class的PV與之匹配和綁定。
• 啟用DefaultStorageClass：要求集群管理員已定義預設的StorageClass。如果在系統中不存在預設的StorageClass，則等效於不啟用DefaultStorageClass的情況。如果存在預設的StorageClass，則系統將自動為PVC創建一個PV（使用預設StorageClass的後端存儲），並將它們進行綁定。

四 PV和PVC生命周期管理

4.1 PV生命周期

• Available：可用狀態，還未與某個PVC綁定。
• Bound：已與某個PVC綁定。
• Released：綁定的PVC已經刪除，資源已釋放，但沒有被集群回收。
• Failed：自動資源回收失敗。

4.2 PVC生命周期

4.3 資源供應

1. 靜態模式：集群管理員手工創建許多PV，在定義PV時需要將後端存儲的特性進行設置。
2. 動態模式：集群管理員無須手工創建PV，而是通過StorageClass的設置對後端存儲進行描述，標記為某種類型。此時要求PVC對存儲的類型進行聲明，系統將自動完成PV的創建及與PVC的綁定。

4.4 資源綁定

4.5 資源使用

4.6 資源釋放

4.7 資源回收