001.Ansible部署RHCS存儲集群

一 前期準備

1.1 前置條件

• 至少有三個不同的主機運行monitor (MON)節點；
• 至少三個直接存儲(非外部SAN硬體)的OSD節點主；
• 至少兩個不同的manager (MGR)節點；
• 如果使用CephFS，則至少有兩個完全相同配置的MDS節點；
• 如果使用Ceph對象網關，則至少有兩個不同的RADOSGW節點。
• 一個部署節點，可以使用ceph-ansible包中的Ansible劇本來部署和配置集群。

1.2 準備工作

• 具備相同操作系統的集群節點，建議RHEL7；
• 配置軟體倉庫（centos epel源、ubuntu apt源、redhat使用subscription-manager命令註冊系統）；
• 所有節點配置網路及NTP時間同步；
• 關閉selinux與防火牆，或放通所有相關流量和埠；
• 在部署節點安裝ansbile；
• 添加hosts，並確保能正確解析到所有主機；
• 配置部署節點使用Ansible任務的用戶到其他所有節點可以ssh免密登錄；
• 驗證部署節點能夠在集群節點上能正常運行ansible任務。

1.3 其他註意事項

1. OSD磁碟不建議使用RAID，Ceph使用複製或糾刪碼來保護數據
2. 在生產環境部署Ceph集群，為便於管理，OSD主機應儘量使用統一的硬體。儘可能配置數量、大小和名稱都相同的磁碟，有助於確保性能一致，並且簡化故障排除；
3. 需要確認每個OSD主機提供的OSD的數量。密度較小的存儲集群意味著osd守護進程分佈到更多的主機上，分發工作負載。密度較高的存儲意味著重平衡和數據恢復需要更高的流量

附一：組件埠說明

二 部署相關知識點

2.1 Ansible介紹

2.2 Ansible部署Ceph相關yml

2.3 yml主要相關參數

• all.yml參數

• osds.ym

2.4 客戶端相關命令

2.5 對象object相關命令

三 正式部署

3.1 部署節點配置主機名

  1 [root@servera ~]# vi /etc/hosts
  2 172.25.250.10 servera
  3 172.25.250.12 serverc
  4 172.25.250.13 serverd
  5 172.25.250.14 servere

3.2 創建相關用戶

  1 [root@servera ~]# useradd student
  2 [root@servera ~]# echo student | passwd --stdin student		#創建非root的管理用戶
  3 [root@servera ~]# for i in {a..e}; do echo "====server${i}====";ssh root@server${i} 'useradd -d /home/student -m student; echo "student" | passwd --stdin student'; done                 #所有OSD server節點創建student用戶
  5 [root@servera ~]# for i in {a..e}; do echo "====server${i}====";ssh root@server${i} 'useradd -d /home/ceph -m ceph; echo "redhat" | passwd --stdin ceph'; done
  6 [root@servera ~]# for i in {a..e}; do echo "====server${i}====";ssh root@server${i} 'echo "student ALL = (root) NOPASSWD:ALL" > /etc/sudoers'; done
  7 [root@servera ~]# for i in {a..e}; do echo "====server${i}====";ssh root@server${i} 'chmod 0440 /etc/sudoers'; done

3.3 配置部署節點免密鑰

  1 [root@servera ~]# su - student
  2 [student@servera ~]$ ssh-keygen -f ~/.ssh/id_rsa -N ''
  3 [student@servera ~]$ for i in {a..e}; do echo "====server${i}====";ssh-copy-id student@server$i;ssh-copy-id ceph@server$i; done

3.4 配置Ansible Inventory

  1 [student@servera ~]$ sudo vi /usr/share/ceph-ansible/ansible.cfg
  2 log_path = /tmp/ansible.log		        #修改日誌路徑為student用戶可寫入的/tmp路徑
  3 deprecation_warnings = False		#禁用在ansible-playbook輸出結果相關必須要警告

  1 [student@servera ~]$ sudo vi /etc/ansible/hosts
  2 [mons]
  3 server[c:e]
  4 
  5 [mgrs]
  6 server[c:e]
  7 [student@servera ~]$ ansible mons -m ping		#測試mons組節點通信
  8 [student@servera ~]$ ansible mgrs -m ping		#測試mgrs組節點通信
  9 [student@servera ~]$ ansible mons -m command -a id	#通過命令測試mons組節點
 10 [student@servera ~]$ ansible mgrs -m command -a id	#通過命令測試mgrs組節點

3.5 創建site.yml

  1 [student@servera ~]$ cd /usr/share/ceph-ansible/
  2 [student@servera ceph-ansible]$ sudo cp site.yml.sample site.yml
  3 [student@servera ceph-ansible]$ sudo vi site.yml
  4 #……
  5 - hosts: osds
  6   gather_facts: false
  7   become: True
  8   serial: 1			                #在osd（80行左右）添加此行

3.6 創建all.yml

  1 [student@servera ~]$ cd /usr/share/ceph-ansible/group_vars/
  2 [student@servera group_vars]$ sudo cp all.yml.sample all.yml
  3 [student@servera group_vars]$ sudo vi all.yml
  4 ---
  5 dummy:
  6 ntp_service_enabled: false			#本實驗採用chrony進行時鐘同步
  7 ceph_origin: repository
  8 ceph_repository: rhcs
  9 ceph_rhcs_version: "3"
 10 ceph_repository_type: cdn
 11 rbd_cache: "true"				#開啟RBD回寫緩存
 12 rbd_cache_writethrough_until_flush: "false"	#在切換回寫之前，不從寫透開始。
 13 rbd_client_directories: false		#不要創建客戶機目錄(它們應該已經存在)。
 14 monitor_interface: eth0
 15 journal_size: 1024				#本環境存儲設備很小，OSD日誌比通常建議的要小
 16 public_network: 172.25.250.0/24
 17 cluster_network: "{{ public_network }}"
 18 ceph_conf_overrides:
 19   global:
 20     mon_osd_allow_primary_affinity: 1
 21     mon_clock_drift_allowed: 0.5		#允許MON時鐘間隔最多0.5秒
 22     osd_pool_default_size: 2
 23     osd_pool_default_min_size: 1		#降低存儲池複製大小的預設設置
 24     mon_pg_warn_min_per_osd: 0		#見提示一
 25     mon_pg_warn_max_per_osd: 0		#見提示二
 26     mon_pg_warn_max_object_skew: 0		#見提示三
 27   client:
 28     rbd_default_features: 1			#僅為以後的練習啟用一組特定的客戶機功能

3.7 正式部署Ceph集群

  1 [student@servera ~]$ cd /usr/share/ceph-ansible/
  2 [student@servera ceph-ansible]$ ansible-playbook site.yml

3.8 確認驗證Ceph集群

  1 [student@servera ~]$ ssh ceph@serverc ceph -s

  1 [student@servera ~]$ ssh ceph@serverc cat /etc/ceph/ceph.conf

  1 [student@servera ~]$ ssh ceph@serverc ps aux | grep ceph-mon

3.9 創建osds.yml

  1 [student@servera ~]$ cd /usr/share/ceph-ansible/group_vars/
  2 [student@servera group_vars]$ sudo cp osds.yml.sample osds.yml
  3 [student@servera group_vars]$ sudo vi osds.yml
  4 ---
  5 dummy:
  6 osd_scenario: "collocated"			#OSD使用併列的OSD形式
  7 devices:
  8   - /dev/vdb				#使用/dev/vdb作為後端存儲設備

3.10 配置Ansible Inventory