分散式FastDFS集群部署

来源:https://www.cnblogs.com/joyven/archive/2019/10/24/11733051.html
-Advertisement-
Play Games

FastDFS FastDFS的作者餘慶在其 "GitHub" 上是這樣描述的：“FastDFS is an open source high performance distributed file system. It's major functions include: file storin ...


FastDFS

FastDFS的作者餘慶在其 GitHub 上是這樣描述的：“FastDFS is an open source high performance distributed file system. It's major functions include: file storing, file syncing and file accessing (file uploading and file downloading), and it can resolve the high capacity and load balancing problem. FastDFS should meet the requirement of the website whose service based on files such as photo sharing site and video sharing site” ，意思說，FastDFS是一個開源的高性能分散式文件系統。其主要功能包括：文件存儲、文件同步和文件訪問（文件上傳和文件下載），它可以解決高容量和負載平衡問題。FastDFS應滿足基於照片共用站點和視頻共用站點等文件的網站的服務要求。

FastDFS 有兩個角色：跟蹤器（Tracker）和存儲器（Storage）。Tracker 負責文件訪問的調度和負載平衡。Storage 存儲文件及其功能是文件管理，包括：文件存儲、文件同步、提供文件訪問介面。它還管理元數據，這些元數據是表示為文件的鍵值對的屬性。Tracker 和 Storage 節點都可以由一臺或多台伺服器構成。這些伺服器均可以隨時增加或下線而不會影響線上服務，當然各個節點集群至少需要一臺服務 Running。註意，其中 Tracker 集群中的所有伺服器都是對等的（P2P），可以根據伺服器的壓力情況隨時增加或減少。

此外，官網還存儲系統做了詳盡的說明，為了支持大容量，Storage 節點採用了分捲（或分組）的組織方式。存儲系統由一個或多個捲組成，捲與捲之間的文件是相互獨立的，所有捲的文件容量累加就是整個存儲系統中的文件容量。一個捲可以由一臺或多台 Storage 伺服器組成，一個捲下的存儲伺服器中的文件都是相同的，捲中的多台存儲伺服器起到了冗餘備份和負載均衡的作用。在捲中增加伺服器時，同步已有的文件由系統自動完成，同步完成後，系統自動將新增伺服器切換到線上提供服務。當存儲空間不足或即將耗盡時，可以動態添加捲。只需要增加一臺或多台伺服器，並將它們配置為一個新的捲，這樣就擴大了存儲系統的容量。關於捲或組的概念暫且不要過多深入，後面的安裝部署中會後詳細的說明。

在FastDFS中，文件的標識由兩部分組成：捲名和文件名。

環境說明

  • 操作系統：Centos Linux release 7.2.1511
  • 系統磁碟： 274G
  • 掛在磁碟：3.7T * 12
  • CPU：32 (Intel(R) Xeon(R) )
  • Memory：8G

架構設計

![](https://img2018.cnblogs.com/blog/1844824/201910/1844824-20191024163710574-711006142.png)
圖1 DFS架構圖

工作方式：客戶端向 tracker 發出請求，然後 tracker 從 storage 節點拿到源數據，返還給客戶端，然後客戶端根據源數據再去請求 storage 節點。

![高可用FasfDFS結構圖](https://img2018.cnblogs.com/blog/1844824/201910/1844824-20191024163712649-1893121002.png)
圖2 高可用DFS架構圖（紅色虛線部分另外討論）

概要精簡

1.核心系統只有兩個角色，tracker server和storage server。

2.所有跟蹤器伺服器都是對等的，不存在 Master-Slave 關係（圖中 Tracker-leader 需另行討論，目前只需要明白 tracker 是 P2P）。

3.存儲伺服器採用分組方式，同組記憶體儲伺服器上的文件完全相同。

4.不同組的 storage server 之間不會相互通信，相同組之間會進行同步。

5.由 storage server 主動向 tracker server 報告狀態信息，每個 tracker server 都會記錄 storage server 的信息。

6.如果開啟了 trunk 功能，tracker 服務協調 storage 選舉 trunk-server。

集群部署

準備環境

表1 軟體列表及版本
名稱 說明 鏈接
CentOS 7.x（安裝系統）
libfastcommon FastDFS分離出的一些公用函數包 libfastcommon V1.0.39
FastDFS FastDFS本體 FastDFS V5.11
fastdfs-nginx-module FastDFS和nginx的關聯模塊，解決組內同步延遲問題 fastdfs-nginx-module V1.20
nginx nginx 1.12.2（CentOS 7 下YUM可以安裝的最新版本） nginx 1.12.2

Note: 在google瀏覽器中，點擊上面鏈接下載和複製鏈接下載的文件名稱不相同，google會根據上面的文本信息重命名。

表2 伺服器IP、服務分配、埠規劃表
名稱 IP地址 應用服務 埠
A機器
10.58.10.136 tracker 22122
10.58.10.136 storage-group1 23000
10.58.10.136 storage-group2 33000
10.58.10.136 libfastcommon -
10.58.10.136 nginx 8888
10.58.10.136 fastdfs-nginx-module -
B機器
10.58.10.137 tracker 22122
10.58.10.137 storage-group1 23000
10.58.10.137 storage-group3 43000
10.58.10.137 libfastcommon -
10.58.10.137 nginx 8888
10.58.10.137 fastdfs-nginx-module -
C機器
10.58.10.138 tracker 22122
10.58.10.138 storage-group2 33000
10.58.10.138 storage-group23 43000
10.58.10.138 libfastcommon -
10.58.10.138 nginx 8888
10.58.10.138 fastdfs-nginx-module -

在安裝之前必須說明：

1.記得給下麵用到的存儲目錄(日誌、數據、pid文件等)授權可讀可寫許可權；

2.下麵所有的配置文件中由於說明，加了註釋，請務必在配置的時候把配置項後面以“#”開頭的註釋刪掉。

初始化環境

# 安裝編譯環境
$ yum groups install Development Tools -y
$ yum install perl -y
$ yum -y install redhat-rpm-config.noarch
$ yum -y install gd-devel
$ yum -y install perl-devel perl-ExtUtils-Embed
$ yum -y install pcre-devel
$ yum -y install openssl openssl-devel
$ yum -y install gcc-c++ autoconf automake
$ yum install -y zlib-devel
$ yum -y install libxml2 libxml2-dev
$ yum -y install libxslt-devel
$ yum -y install GeoIP GeoIP-devel GeoIP-data
$ yum install gperftools -y

安裝libfastcommon

在A、B、C三台機器上分別執行下麵的操作：

$ tar -zxvf libfastcommon-1.0.39.tar.gz
$ cd libfastcommon-1.0.39/
$ ./make.sh
$ ./make.sh install

libfastcommon 安裝在了 /usr/lib64/libfastcommon.so。需要註意新老版本，新版本在安裝之後自動會將 libfastcommon.so 通過軟連接鏈接到 /usr/local/lib 目錄下麵。如果是老版本，則需要手動建立：

ln -s /usr/lib64/libfastcommon.so /usr/local/lib/libfastcommon.so   ln -s /usr/lib64/libfastcommon.so /usr/lib/libfastcommon.so

如果有 libfdfsclient.so，則也可以把libfdfsclient.so加入到 /usr/local/lib 中：

ln -s /usr/lib64/libfdfsclient.so /usr/local/lib/libfdfsclient.so   ln -s /usr/lib64/libfdfsclient.so /usr/lib/libfdfsclient.so

Note：最好自己通過命令 ls | grep libfastcommon 在 /usr/lib/ 和 /usr/local/lib 查看確認是否鏈接成功。

安裝tracker

在 A、B、C 三台機器上分別執行下麵操作：

$ mkdir -p /data/fastdfs/tracker
$ tar -zxvf fastdfs-5.11.tar.gz
$ cd fastdfs-5.11/
$ ./make.sh
$ ./make.sh install
$ # 配置文件準備
$ cp /etc/fdfs/tracker.conf.sample /etc/fdfs/tracker.conf #tracker節點

修改tracker的配置文件：

$ vim /etc/fdfs/tracker.conf
$ #需要修改的內容如下
max_connections=1024 #預設256，最大連接數
port=22122 # tracker 伺服器埠（預設 22122,一般不修改）
base_path=/data/fastdfs/tracker # 存儲日誌和數據的根目錄

增加 tracker.service 服務，可使用 systemctl 執行服務的啟動、重啟、停止等操作，也可設置開機自動重啟。

$ #編輯啟動文件
$ vim /usr/lib/systemd/system/fastdfs-tracker.service
[Unit]
Description=The FastDFS File server
After=network.target remote-fs.target nss-lookup.target

[Service]
Type=forking
ExecStart=/usr/bin/fdfs_trackerd /etc/fdfs/tracker.conf start
ExecStop=/usr/bin/fdfs_trackerd /etc/fdfs/tracker.conf stop
ExecRestart=/usr/bin/fdfs_trackerd /etc/fdfs/tracker.conf restart

[Install]
WantedBy=multi-user.target

保存 /usr/lib/systemd/system/fastdfs-tracker.service 文件並退出 vim 編輯器，我們執行下麵操作啟動 Fastdfs Tracker 服務：

$ systemctl daemon-reload
$ systemctl enable fastdfs-tracker.service
$ systemctl start fastdfs-tracker.service

tracker 服務啟動結束後，我們通過下麵命令查看埠是否正常：

$ netstat -tulnp|grep 22122 #查看服務是否啟動，埠是否打開

安裝sorage

安裝 tracker 的時候已經解壓過了則可以不執行此步驟。

$ tar -zxvf fastdfs-5.11.tar.gz  
$ cd fastdfs-5.11/
$ ./make.sh
$ ./make.sh install
A 機器(group1/group2)

在 fastdfs-5.11 目錄下麵複製 storage 的配置文件（複製兩份）：

$ sudo mkdir -p /data/fastdfs/storage/group1
$ sudo mkdir -p /data/fastdfs/storage/group2
$ sudo cp /etc/fdfs/storage.conf.sample /etc/fdfs/storage-group1.conf #storage節點的group1組
$ sudo cp /etc/fdfs/storage.conf.sample /etc/fdfs/storage-group2.conf #storage節點的group1組
$ sudo cp /etc/fdfs/client.conf.sample /etc/fdfs/client.conf #客戶端文件，測試用

根據架構設計，我們依次修改上面的三個文件：

  • 修改 group1 的配置文件：/etc/fdfs/storage-group1.conf
$ sudo vim /etc/fdfs/storage-group1.conf
#需要修改的內容如下
group_name=group1
port=23000 # storage 服務埠（預設 23000）
base_path=/data/fastdfs/storage/group1 # 數據和日誌文件存儲根目錄
store_path_count=6
store_path0=/data01/fastdfs # group1 的第一個存儲目錄
store_path1=/data02/fastdfs # group1 的第二個存儲目錄
store_path2=/data03/fastdfs # group1 的第三個存儲目錄
store_path3=/data04/fastdfs # group1 的第四個存儲目錄
store_path4=/data05/fastdfs # group1 的第五個存儲目錄
store_path5=/data06/fastdfs # group1 的第六個存儲目錄
tracker_server=10.58.10.136:22122 # tracker 伺服器IP和埠
tracker_server=10.58.10.137:22122 # tracker 伺服器IP和埠
tracker_server=10.58.10.138:22122 # tracker 伺服器IP和埠
http.server_port=8888  # http 訪問文件的埠(預設 8888，看情況修改，和nginx 中保持一致)
  • 修改 group2 的配置文件：/etc/fdfs/storage-group2.conf
$ sudo vim /etc/fdfs/storage-group2.conf
#需要修改的內容如下
group_name=group2
port=33000 # storage 服務埠（預設 23000，修改為 33000）
base_path=/data/fastdfs/storage/group2 # 數據和日誌文件存儲根目錄
store_path_count=6
store_path0=/data07/fastdfs # group2 的第一個存儲目錄
store_path1=/data08/fastdfs # group2 的第二個存儲目錄
store_path2=/data09/fastdfs # group2 的第三個存儲目錄
store_path3=/data10/fastdfs # group2 的第四個存儲目錄
store_path4=/data11/fastdfs # group2 的第五個存儲目錄
store_path5=/data12/fastdfs # group2 的第六個存儲目錄
tracker_server=10.58.10.136:22122 # tracker 伺服器 IP 和埠
tracker_server=10.58.10.137:22122 # tracker 伺服器 IP 和埠
tracker_server=10.58.10.138:22122 # tracker 伺服器 IP 和埠
http.server_port=8888 # http 訪問文件的埠(預設 8888，看情況修改，和nginx 中保持一致)
  • 修改client的配置文件：/etc/fdfs/client.conf
$ sudo vim /etc/fdfs/client.conf
#需要修改的內容如下
base_path=/data/fastdfs/client
tracker_server=10.58.10.136:22122 # tracker 伺服器 IP 和埠
tracker_server=10.58.10.137:22122 # tracker 伺服器 IP 和埠
tracker_server=10.58.10.138:22122 # tracker 伺服器 IP 和埠
  • 修改好以上三個配置文件之後，我們製作啟動 service：

fastdfs-storage-group1.service

$ vim /usr/lib/systemd/system/fastdfs-storage-group1.service
# 編輯啟動文件
[Unit]
Description=The FastDFS File server
After=network.target remote-fs.target nss-lookup.target

[Service]
Type=forking
ExecStart=/usr/bin/fdfs_storaged /etc/fdfs/storage-group1.conf start
ExecStop=/usr/bin/fdfs_storaged /etc/fdfs/storage-group1.conf stop
ExecRestart=/usr/bin/fdfs_storaged /etc/fdfs/storage-group1.conf restart

[Install]
WantedBy=multi-user.target

fastdfs-storage-group2.service

$ vim /usr/lib/systemd/system/fastdfs-storage-group2.service
# 編輯啟動文件
[Unit]
Description=The FastDFS File server
After=network.target remote-fs.target nss-lookup.target

[Service]
Type=forking
ExecStart=/usr/bin/fdfs_storaged /etc/fdfs/storage-group2.conf start
ExecStop=/usr/bin/fdfs_storaged /etc/fdfs/storage-group2.conf stop
ExecRestart=/usr/bin/fdfs_storaged /etc/fdfs/storage-group2.conf restart

[Install]
WantedBy=multi-user.target
  • Storage 的 service 製作好只好，我們啟動 Storage 的兩個服務：
$ systemctl daemon-reload
$ systemctl enable fastdfs-storage-group1.service
$ systemctl start fastdfs-storage-group1.service

啟動過程可能因為某些許可權或配置書寫錯誤的問題，會出現啟動失敗的情況，可通過 systemctl status fastdfs-storage-group1.service 查看該服務的狀態，同時結合logs（日誌文件在 /data/fastdfs/storage/group1/logs/目錄下麵）排查，可以快速定位問題。如果出現一些異常情況，也可以看看後面的採坑部分，看看有沒有期望的結果。

$ netstat -tulnp #查看服務是否啟動，埠是否打開（23000，33000）
  • 服務起來之後，我們可以查看Fastdfs的集群狀態：
#查看集群狀態
$ fdfs_monitor /etc/fdfs/storage-group1.conf list

控制台列印出如下信息，說明成功了：

[2018-11-06 00:00:00] DEBUG - base_path=/data/fastdfs/storage/group1, connect_timeout=30, network_timeout=60, tracker_server_count=2, anti_steal_token=0, anti_steal_secret_key length=0, use_connection_pool=0, g_connection_pool_max_idle_time=3600s, use_storage_id=0, storage server id count: 0
server_count=3, server_index=0
tracker server is 10.58.10.136:22122,10.58.10.137:22122,10.58.10.138:22122
group count: 2
Group 1:
...
  • 通過客戶端測試上傳文件
#保存後測試,返回 ID 表示成功 如：group1/M00/00/00/xx.txt
$ fdfs_upload_file /etc/fdfs/client.conf test.txt
B 機器(group1/group3)

配置過程與 A 機器類似，需要修改以下幾個點：

  • 創建目錄及複製配置文件。
$ sudo mkdir -p /data/fastdfs/storage/group1
$ sudo mkdir -p /data/fastdfs/storage/group3
$ sudo cp /etc/fdfs/storage.conf.sample /etc/fdfs/storage-group1.conf #storage節點的group1組
$ sudo cp /etc/fdfs/storage.conf.sample /etc/fdfs/storage-group3.conf #storage節點的group3組
$ sudo cp /etc/fdfs/client.conf.sample /etc/fdfs/client.conf #客戶端文件，測試用
  • 修改 group3 的配置文件/etc/fdfs/storage-group3.conf，group1 的配置內容和 A 的保持一致。
$ sudo vim /etc/fdfs/storage-group3.conf
#需要修改的內容如下
group_name=group3
port=43000 # storage服務埠（預設23000，修改為43000）
base_path=/data/fastdfs/storage/group3 # 數據和日誌文件存儲根目錄
store_path_count=6
store_path0=/data07/fastdfs # group3的第一個存儲目錄
store_path1=/data08/fastdfs # group3的第二個存儲目錄
store_path2=/data09/fastdfs # group3的第三個存儲目錄
store_path3=/data10/fastdfs # group3的第四個存儲目錄
store_path4=/data11/fastdfs # group3的第五個存儲目錄
store_path5=/data12/fastdfs # group3的第六個存儲目錄
tracker_server=10.58.10.136:22122 # tracker伺服器IP和埠
tracker_server=10.58.10.137:22122 # tracker伺服器IP和埠
tracker_server=10.58.10.138:22122 # tracker伺服器IP和埠
http.server_port=8888 # http訪問文件的埠(預設8888,看情況修改,和nginx中保持一致)
  • client 的配置文件和 A 機器一致，此處不做重覆。
  • 製作啟動 group3 的 service，fastdfs-storage-group1.service和 A 機器一致，複製即可。
$ vim /usr/lib/systemd/system/fastdfs-storage-group3.service
# 編輯啟動文件
[Unit]
Description=The FastDFS File server
After=network.target remote-fs.target nss-lookup.target

[Service]
Type=forking
ExecStart=/usr/bin/fdfs_storaged /etc/fdfs/storage-group3.conf start
ExecStop=/usr/bin/fdfs_storaged /etc/fdfs/storage-group3.conf stop
ExecRestart=/usr/bin/fdfs_storaged /etc/fdfs/storage-group3.conf restart

[Install]
WantedBy=multi-user.target
  • 執行啟動腳本，直到 fastdfs-storage-group1.service 和 fastdfs-storage-group3.service 服務起來即可。
C 機器(group2/group3)

配置過程與 A 機器類似，需要修改以下幾個點：

  • 創建目錄及複製配置文件。
$ sudo mkdir -p /data/fastdfs/storage/group2
$ sudo mkdir -p /data/fastdfs/storage/group3
$ sudo cp /etc/fdfs/storage.conf.sample /etc/fdfs/storage-group2.conf #storage節點的group1組
$ sudo cp /etc/fdfs/storage.conf.sample /etc/fdfs/storage-group3.conf #storage節點的group3組
$ sudo cp /etc/fdfs/client.conf.sample /etc/fdfs/client.conf #客戶端文件，測試用
  • 修改 group2 的配置文件/etc/fdfs/storage-group2.conf，group3 的配置內容和 B 機器的保持一致。
$ sudo vim /etc/fdfs/storage-group2.conf
#需要修改的內容如下
group_name=group2
port=33000 # storage服務埠（預設23000，修改為33000）
base_path=/data/fastdfs/storage/group2 # 數據和日誌文件存儲根目錄
store_path_count=6
store_path0=/data01/fastdfs # group2的第一個存儲目錄
store_path1=/data02/fastdfs # group2的第二個存儲目錄
store_path2=/data03/fastdfs # group2的第三個存儲目錄
store_path3=/data04/fastdfs # group2的第四個存儲目錄
store_path4=/data05/fastdfs # group2的第五個存儲目錄
store_path5=/data06/fastdfs # group2的第六個存儲目錄
tracker_server=10.58.10.136:22122 # tracker伺服器IP和埠
tracker_server=10.58.10.137:22122 # tracker伺服器IP和埠
tracker_server=10.58.10.138:22122 # tracker伺服器IP和埠
http.server_port=8888 # http訪問文件的埠(預設8888,看情況修改,和nginx中保持一致)
  • client 的配置文件和 A 機器一致，此處不做重覆。
  • 製作啟動 group2 和 group3 的 service，上面已有，直接複製即可。
  • 執行啟動腳本，直到fastdfs-storage-group2.service和fastdfs-storage-group3.service服務起來即可。

安裝nginx和fastdfs的nginx模塊

step1 在 fastdfs 的目錄中，將 http.conf 和 mime.types 文件拷貝到 /etc/fdfs 目錄下麵，支持 nginx 訪問 storage 服務。

# 在三台機器上都需要執行
$ cp ./conf/http.conf /etc/fdfs/ #供 nginx 訪問使用
$ cp ./conf/mime.types /etc/fdfs/ #供 nginx 訪問使用

step2 安裝 fastdfs 的 nginx 模塊：

# 在三台機器上都需要執行
$ tar -zxvf V1.20.tar.gz
$ cp fastdfs-nginx-module-1.20/src/mod_fastdfs.conf /etc/fdfs/mod_fastdfs.conf

step3 然後修改 fastdfs-nginx-module-1.20/src/config 文件，找到 ngx_module_incs 和 CORE_INCS 兩處，修改如下：

ngx_module_incs=”/usr/include/fastdfs /usr/include/fastcommon/”
CORE_INCS=”$CORE_INCS /usr/include/fastdfs /usr/include/fastcommon/”

如果不修改，在編譯 nginx 的時候，會出這種錯誤：/usr/include/fastdfs/fdfs_define.h:15:27: fatal error: common_define.h: No such file or directory。

step4 之後我們解壓 nginx，安裝 nginx 服務：

$ tar -zxvf nginx-1.12.2.tar.gz
$ cd nginx-1.12.2
$ ./configure --prefix=/usr/share/nginx --sbin-path=/usr/sbin/nginx --modules-path=/usr/lib64/nginx/modules --conf-path=/etc/nginx/nginx.conf --error-log-path=/var/log/nginx/error.log --http-log-path=/var/log/nginx/access.log --http-client-body-temp-path=/var/lib/nginx/tmp/client_body --http-proxy-temp-path=/var/lib/nginx/tmp/proxy --http-fastcgi-temp-path=/var/lib/nginx/tmp/fastcgi --http-uwsgi-temp-path=/var/lib/nginx/tmp/uwsgi --http-scgi-temp-path=/var/lib/nginx/tmp/scgi --pid-path=/run/nginx.pid --lock-path=/run/lock/subsys/nginx --user=nginx --group=nginx --with-file-aio --with-ipv6 --with-http_auth_request_module --with-http_ssl_module --with-http_v2_module --with-http_realip_module --with-http_addition_module --with-http_xslt_module=dynamic --with-http_image_filter_module=dynamic --with-http_geoip_module=dynamic --with-http_sub_module --with-http_dav_module --with-http_flv_module --with-http_mp4_module --with-http_gunzip_module --with-http_gzip_static_module --with-http_random_index_module --with-http_secure_link_module --with-http_degradation_module --with-http_slice_module --with-http_stub_status_module --with-http_perl_module=dynamic --with-mail=dynamic --with-mail_ssl_module --with-pcre --with-pcre-jit --with-stream=dynamic --with-stream_ssl_module --with-google_perftools_module --with-debug --with-cc-opt='-O2 -g -pipe -Wall -Wp,-D_FORTIFY_SOURCE=2 -fexceptions -fstack-protector-strong --param=ssp-buffer-size=4 -grecord-gcc-switches -specs=/usr/lib/rpm/redhat/redhat-hardened-cc1 -m64 -mtune=generic' --with-ld-opt='-Wl,-z,relro -specs=/usr/lib/rpm/redhat/redhat-hardened-ld -Wl,-E' --add-module=${YOUR_PATH}/fastdfs-nginx-module-1.20/src
$ make
$ make install

註意，上面 ${YOUR_PATH} 改為 fastdfs-nginx-module-1.20 的父目錄，保證路徑正確。

  • 修改A機器 /etc/fdfs/mod_fastdfs.conf 配置文件：
connect_timeout=2
network_timeout=30
base_path=/data/fastdfs/ngx_mod
load_fdfs_parameters_from_tracker=true
storage_sync_file_max_delay = 86400
use_storage_id = false
storage_ids_filename = storage_ids.conf
tracker_server=10.58.10.136:22122 # tracker伺服器IP和埠
tracker_server=10.58.10.137:22122 # tracker伺服器IP和埠
tracker_server=10.58.10.138:22122 # tracker伺服器IP和埠
group_name=group1/group2  # 全局
url_have_group_name = true
log_level=info
log_filename=
response_mode=proxy
if_alias_prefix=
flv_support = true
flv_extension = flv
group_count = 2
[group1]
group_name=group1   #group中
storage_server_port=23000
store_path_count=6
store_path0=/data01/fastdfs 
store_path1=/data02/fastdfs 
store_path2=/data03/fastdfs 
store_path3=/data04/fastdfs 
store_path4=/data05/fastdfs
store_path5=/data06/fastdfs 
[group2]
group_name=group2
storage_server_port=33000
store_path_count=6
store_path0=/data07/fastdfs 
store_path1=/data08/fastdfs 
store_path2=/data09/fastdfs 
store_path3=/data10/fastdfs 
store_path4=/data11/fastdfs
store_path5=/data12/fastdfs
  • 配置 nginx 的配置文件，以便訪問 storage
$ sudo vim /etc/nginx/nginx.conf
user nginx;
worker_prosesses on;
worker_rlimit_nofile 65535;

error_log /var/log/nginx/error.log;
pid /run/nginx.pid;

include /usr/share/nginx/modules/*.conf;

events {
    worker_connections 65535;
    use epoll;
    accept_mutex off;
}

http {
    log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
                      '$status $body_bytes_sent "$http_referer" '
                      '"$http_user_agent" "$http_x_forwarded_for"';

    access_log  /var/log/nginx/access.log  main;

    sendfile            on;
    tcp_nopush          on;
    tcp_nodelay         on;
    keepalive_timeout   65;
    types_hash_max_size 2048;
    gzip                on;

    server_names_bucket_hash_size 128;
    client_header_buffer_size 32k;
    larger_client_header_buffers 4 32k;
    client_max_body_size 300m;

    proxy_redirect off;
    proxy_http_version 1.1;
    proxy_set_header Connection '';
    proxy_set_header REMOTE-HOST $remote_addr;
    proxy_set_header HOST $host;
    proxy_set_header X-Real-IP $remote_addr;
    proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
    proxy_connet_timeout 90;
    proxy_send_timeout   90;
    proxy_read_timeout   90;
    proxy_buffer_size 16k;
    proxy_buffers 8 64k;
    proxy_busy_buffers_size 128k;
    proxy_temp_file_write_size 128k;


    proxy_cache_path /data/fastdfs/cache/nginx/proxy_cache levels=1:2
    keys_zone=http-cache:200m max_size=1g inactive=30d;
    proxy_temp_path /data/fastdfs/cache/nginx/proxy_cache/temp;

    include             /etc/nginx/mime.types;
    default_type        application/octet-stream;

    include /etc/nginx/conf.d/*.conf;

    server {
        listen       80 default_server;
        listen       [::]:80 default_server;
        server_name  _;
        root         /usr/share/nginx/html;

        # Load configuration files for the default server block.
        #include /etc/nginx/default.d/*.conf;

        location ~ ^/ok(\..*)?$ {
            return 200 "OK";
        }

        location /nginx {
            stub_status on;
        }

        location /healthcheck {
            check_status on;
        }

        location ^~ /group1/ {
            proxy_next_upstream http_502 http_504 error timeout invalid_header;
            proxy_cache http-cache;
            proxy_cache_valid 200 304 12h;
            proxy_cache_key $uri$is_args$args;

            add_header 'Access-Control-Allow-Origin' $http_origin;
            add_header 'Access-Control-Allow-Credentials' 'true';
            add_header "Access-Control-Allow-Methods" "GET, POST, HEAD, PUT, DELETE, OPTIONS, PATCH";
            add_header "Access-Control-Allow-Headers" "Origin, No-Cache, Authorization, X-Requested-With, If-Modified-Since, Pragma, Last-Modified, Cache-Control, Expires, Content-Type";
            if ($request_method = 'OPTIONS') {
                return 200 'OK';
            }

            proxy_pass http://fdfs_group1;
            expire 30d;
        }
        location ^~ /group2/ {
            proxy_next_upstream http_502 http_504 error timeout invalid_header;
            proxy_cache http-cache;
            proxy_cache_valid 200 304 12h;
            proxy_cache_key $uri$is_args$args;

            add_header 'Access-Control-Allow-Origin' $http_origin;
            add_header 'Access-Control-Allow-Credentials' 'true';
            add_header "Access-Control-Allow-Methods" "GET, POST, HEAD, PUT, DELETE, OPTIONS, PATCH";
            add_header "Access-Control-Allow-Headers" "Origin, No-Cache, Authorization, X-Requested-With, If-Modified-Since, Pragma, Last-Modified, Cache-Control, Expires, Content-Type";
            if ($request_method = 'OPTIONS') {
                return 200 'OK';
            }

            proxy_pass http://fdfs_group2;
            expire 30d;
        }
        location ^~ /group3/ {
            proxy_next_upstream http_502 http_504 error timeout invalid_header;
            proxy_cache http-cache;
            proxy_cache_valid 200 304 12h;
            proxy_cache_key $uri$is_args$args;

            add_header 'Access-Control-Allow-Origin' $http_origin;
            add_header 'Access-Control-Allow-Credentials' 'true';
            add_header "Access-Control-Allow-Methods" "GET, POST, HEAD, PUT, DELETE, OPTIONS, PATCH";
            add_header "Access-Control-Allow-Headers" "Origin, No-Cache, Authorization, X-Requested-With, If-Modified-Since, Pragma, Last-Modified, Cache-Control, Expires, Content-Type";
            if ($request_method = 'OPTIONS') {
                return 200 'OK';
            }

            proxy_pass http://fdfs_group3;
            expire 30d;
        }

        location ~/purge(/.*) {
            allow 127.0.0.1;
            allow 192.168.1.0/24;
            allow 10.58.1.0/24;
            deny all;
            proxy_cache_purge http-cache $1$is_args$args;
        }
    }

    server {
        listen 8888;
        server_name localhost;
        
        location /ok.htm {
            return 200 "OK";
        }

        location ~/group[0-9]/ {
            ngx_fastdfs_module;
        }

        error_page 500 502 503 504 /50x.html;
        location = /50x.html {
            root html;
        }
    }

    upstream fdfs_group1 {
        server 10.58.10.136:8888 max_fails=0;
        server 10.58.10.137:8888 max_fails=0;

        keepalive 10240;
        check interval=2000 rise=2 fall=3 timeout=1000 type=http default_down=false;
        check_http_send "GET /ok.htm HTTP/1.0\r\nConnection:keep-alive\r\n\r\n";
        check_keepalive_requests 100;
    }

    upstream fdfs_group2 {
        server 10.58.10.136:8888 max_fails=0;
        server 10.58.10.138:8888 max_fails=0;

        keepalive 10240;
        check interval=2000 rise=2 fall=3 timeout=1000 type=http default_down=false;
        check_http_send "GET /ok.htm HTTP/1.0\r\nConnection:keep-alive\r\n\r\n";
        check_keepalive_requests 100;
    }

    upstream fdfs_group3 {
        server 10.58.10.137:8888 max_fails=0;
        server 10.58.10.138:8888 max_fails=0;

        keepalive 10240;
        check interval=2000 rise=2 fall=3 timeout=1000 type=http default_down=false;
        check_http_send "GET /ok.htm HTTP/1.0\r\nConnection:keep-alive\r\n\r\n";
        check_keepalive_requests 100;
    }

}
  • 啟動 nginx 服務：
sudo nginx -c /etc/nginx/nginx.conf

訪問http://localhost/ok.htm看看是否返回 200 的狀態,並有 OK 內容。如果啟動失敗，可以查看nginx的日誌，日誌在/var/log/nginx/error.log文件中，這個也是 nginx 在 Centos 中的預設錯誤日誌路徑，如果修改過 error_log，那麼在 error_log 指定的文件中查看錯誤信息。

  • B 和 C 機器的配置基本一樣，nginx 的配置文件完全一樣，唯一需要修改的是/etc/fdfs/mod_fastdfs.conf，在 group_name 中根據節點中 storage 的配置修改對應的名字即可。但是需要註意的是方括弧[groupX]中X一定是順序遞增的，從1開始。

問題總結

遇到問題，第一，我們通過 Console 列印的信息排查服務啟動失敗的原因；第二，通過日誌排查。大多數時候，日誌是最有效的排查方式，沒有之一。tracker 或 storage 服務的日誌存放在其服務對應配置文件中 base_path 配置項指定路徑的 logs 目錄下麵。 nginx的日誌，如果開啟了自己指定日誌路徑，那麼就是自己指定的路徑下查找。如果預設，在 Centos 下麵大多數在 /var/log/nginx/ 目錄下麵。當然，在這種環境中我們排查的不單單是 nginx，還有 fastdfs 的對 nginx 的擴展模塊，這時候，要考慮 fastdfs-nginx-module 的日誌的排查，其日誌存放路徑為 /etc/fdfs/mod_fastdfs.conf 配置中 base_path 指定的路徑。

集群中多個 group 配置埠

每個 group 都需要獨立一個 storage 服務，因此同一臺主機上 storage group 的埠不能衝突，這裡我把 group1 的規劃為 23000，group2 的規劃為 33000，group3 的規劃為43000.

相同名稱的 group 不能在同一臺機器上，因為 tracker 調度時，相同名稱的 group 之間會自動進行同步，需要相同的埠號。故此，兩台主機上統一名稱的 group 必須保證 storage 的埠一致。

集群中多個group存儲路徑的配置

同一主機不同的 group 存儲路徑不要放在一起，需要分開配置。

不同主機相同的 group 存儲路徑可以不一致，但是數量必須保證相同，大小也應該基本一致。

同一節點多個 storage 的配置

在同一個機器上，我們部署了兩個 group，三台機器組成的集群，每個 group 在另外一個節點中保存一份副本。使用命令systemctl start fastdfs-storage-groupx.service啟動的時候，另外一個 group 無法啟動（groupx 為 group1、group2、group3）。一直顯示為 Loaded: loaded (/usr/lib/systemd/system/fastdfs-storage-group1.service; enabled; vender preset: disabled)，直到最好失敗 Active: inactive 變為 Active: exited (下圖為tracker的，storage 的問題類似)。




圖3 storage_group無法啟動

當時的解決方法：每個 storage 啟動時都需要 systemctl daemon-reload 一下，然後啟動即可。
假如要啟動A機器中的 fastdfs-storage-group1.service 和 fastdfs-storage-group2.service，則需要執行如下操作：

  • 先啟動 fastdfs-storage-group1.service
sudo systemctl daemon-reload
sudo systemctl enable fastdfs-storage-group1.service
sudo systemctl start fastdfs-storage-group1.service
  • 觀察 fastdfs-storage-group1.service 的狀態：
systemctl status fastdfs-storage-group1.service
  • 當看到 active 為 running 的時候，說明啟動成功了，然後啟動 fastdfs-storage-group2.service；否則沒啟動成功，查看日誌尋找問題即可：
sudo systemctl daemon-reload
sudo systemctl enable fastdfs-storage-group2.service
sudo systemctl start fastdfs-storage-group3.service
  • 觀察 fastdfs-storage-group2.service 的狀態，直到起來為止。

可能會出現 Unkown lvalue 'ExecRestart' in section 'Service' 的警告日誌，目前未找到解決方法，當時執行了 yum install systemd-* 的命令，也沒能解決這個問題（有知道解決方案的朋友麻煩告知一下）。

fastdfs的nginx模塊配置

在所有 storage 機器上，修改 /etc/fdfs/mod_fastdfs.conf 時，根據不同的 storage 中的 group 修改 group_name 中的值，但是需要註意兩個配置項目，下麵就 group2 和 group3 為例說明一下：

  • 全局的 group_name

全局配置中的 group_name 必須用”/“分割，值為局部中的 group_name 的值。比如：

group_name=group2/group3。
  • group 中的 group_name
    group 標識一定是從 group1 開始，依次為 group2，這裡的標識就是方括弧中的字元串，類似 mysql 配置文件中的 [Mysql]。
group_name=group2/group3  # 全局
...
group_count = 2
[group1]  # 一定要註意這個地方
group_name=grou2   #group中
storage_server_port=33000
store_path_count=6
......
[group2]  # 還有這個地方，都是有序的
group_name=group3
storage_server_port=43000
store_path_count=6
......

最後，個人理解，錯誤在所難免，歡迎各位朋友批評指正，如有不對的地方，煩請指出。後續我就 FastDFS 的 Tracker 和 Storage 之間的關係做一個詳細的解釋。

該文首發《虛懷若谷》個人博客，轉載前請務必署名，轉載請標明出處。

古之善為道者，微妙玄通，深不可識。夫唯不可識，故強為之容：

豫兮若冬涉川，猶兮若畏四鄰，儼兮其若客，渙兮若冰之釋，敦兮其若樸，曠兮其若谷，混兮其若濁。

孰能濁以靜之徐清？孰能安以動之徐生？

保此道不欲盈。夫唯不盈，故能敝而新成。

請關註我的微信公眾號：下雨就像彈鋼琴，Thanks♪(･ω･)ﾉ
微信二維碼


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • Aspose.Cells 10月最新版更新了耶！
    Aspose.Cells for .NET更新至v19.10，新增支持保存到TIFF時的PageSavingCallback功能，增強ContentTypeProperties的樣式。 新增與改善 試一哈撒。 ...
  • FastReport的模板文件frx文件啊怎樣打開並編輯修改
    場景 FastReport安裝包下載、安裝、去除使用限制以及工具箱中添加控制項： https://blog.csdn.net/BADAO_LIUMANG_QIZHI/article/details/100893794 Winform中使用FastReport實現簡單的自定義PDF導出： https:/ ...
  • C# 判別系統版本以及Win10的識別辦法
    我是一名 ASP.NET 程式員，專註於 B/S 項目開發。累計文章閱讀量超過一千萬，我的博客主頁地址：https://www.itsvse.com/blog_xzz.html 我們都知道在C#中可以通過Environment.OSVersion來判斷當前操作系統，下麵是操作系統和主次版本的對應關係 ...
  • 中國.NET開發者峰會特別活動-基於k8s的微服務和CI/CD動手實踐報名
    2019.11.9 的中國.NET開發者峰會將在上海舉辦，到目前為止，大會的主題基本確定，這兩天就會和大家會面，很多社區的同學基於對社區的信任在我們議題沒有確定的情況下已經購票超過了300張，而且分享的主題都來自於社區，來自於生產實踐之中的經驗分享，內容之中有一點非常值得分享-基於k8s的微服務實踐 ...
  • Winows上簡單配置使用kafka（.net使用）
    一、kafka環境配置 1.jdk安裝 安裝文件：http://www.oracle.com/technetwork/java/javase/downloads/index.html 下載JDK安裝完成後需要添加以下的環境變數（右鍵點擊“我的電腦” -> "高級系統設置" -> "環境變數" ）： ...
  • 樹莓派開機發送IP地址到郵箱
    樹莓派使用的wifi聯網，在宿舍使用的是公共網路，不能設置靜態ip，每次樹莓派上電開機後ip地址可能會改變，所以讓樹莓派開機聯網後自動發送ip地址到QQ郵箱 一、安裝mutt和msmtp mutt: 是一個Linux下的郵件程式，Mutt 更像一個文件管理器，只不過它管理的是email。 msmtp ...
  • Memcached 基本語法 記錄
    set 命令：命令將value數值存儲在指定的key中； key：鍵值 key-value 結構中的 key，用於查找緩存值。 flags：可以包括鍵值對的整型參數，客戶機使用它存儲關於鍵值對的額外信息 。 exptime：在緩存中保存鍵值對的時間長度（以秒為單位，0 表示永遠） bytes：在緩存 ...
  • Linux的一些常用命令（一）
    linux 快捷鍵1、ls 列出本地址上文件， -a 列出所有（包括隱藏文件） -l 按照列表方式顯示 -t 按照時間方式排序 2、touch 創建文件 3、 echo 'abc' > 文件名 寫入文件內容（覆蓋之前的內容） echo 'cdc' >> 文件名 在文件後面添加信息 4、mkdir - ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發（一）：使用.NET MAUI開發第一個安卓APP
    移動開發（一）：使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說，近來想嘗試開發一款安卓APP，考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP，畢竟是使用Visual Studio開發工具，使用起來也比較的順手，結合微軟官方的教程進行了安卓 ...
  • wpf ToggleButton選中效果和一個登錄界面
    前言 QuestPDF 是一個開源 .NET 庫，用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫，它徹底改變了我們生成 PDF 文檔的方 ...
  • 彈幕樹洞項目功能新增篇
    項目地址 項目後端地址： https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址： ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址： http://tree ...
  • 第27篇 sqlserver2022詳細安裝步驟
    話不多說，直接開乾 一.下載 1.官方鏈接下載： https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe，運行開始下載SQL server； 二. ...
  • .NET 開源高性能 MQTT 類庫
    前言 隨著物聯網（IoT）技術的迅猛發展，MQTT（消息隊列遙測傳輸）協議憑藉其輕量級和高效性，已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫，為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog文檔翻譯系列（六） - 可用的接收器、增強器、格式化輸出
    Serilog支持多種接收器用於日誌存儲，增強器用於添加屬性，LogContext管理動態屬性，支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項，適用於不同需求。 ...
  • 警惕 Visual Studio 屬性求值副作用導致邏輯不符合預期
    目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據，爬取信息時需要模擬瀏覽器行為，否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下： 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • [使用目前最新版]HybridCLR6.9.0+YooAsset2.2.4實現純C# Unity熱更新方案 (一)
    1.前言 什麼是熱更新 游戲或者軟體更新時，無需重新下載客戶端進行安裝，而是在應用程式啟動的情況下，在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR，Xlua，ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles，Addressable， ...
  • 在 ASP.NET Core Web API 中使用操作篩選器統一處理通用操作
    本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺，其實像阿裡雲，騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後，它會送 ...
  • 第28篇 如何.net中實現高效可靠數據同步api
    通過以下方式可以高效，並保證數據同步的可靠性 1.API設計 使用RESTful設計，確保API端點明確，並使用適當的HTTP方法（如POST用於創建，PUT用於更新）。 設計清晰的請求和響應模型，以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證，確保接收到的數據符合預期格 ...
所有分類