初識分散式文件系統FastDFS… 1.分散式與集群的區別 區別：集群是個物理形態，分散式是個工作方式。只要是一堆機器，就可以叫集群，他們是不是一起協作著幹活，這個誰也不知道；一個程式或系統，只要運行在不同的機器上，就可以叫分散式，一般系統現在都是前後端分離，C/S架構、B/S架構，一般服務端部署在 ...
初識分散式文件系統FastDFS…
1.分散式與集群的區別
區別：集群是個物理形態，分散式是個工作方式。只要是一堆機器，就可以叫集群，他們是不是一起協作著幹活，這個誰也不知道；一個程式或系統，只要運行在不同的機器上，就可以叫分散式，一般系統現在都是前後端分離，C/S架構、B/S架構，一般服務端部署在內部伺服器，而客戶端分佈在各個用戶的機器好比手機、PC機等，這樣的系統也是分散式系統。集群一般是物理集中、統一管理的，而分散式系統則不強調這一點。
聯繫：將一個應用程式拆分成多個功能模塊或節點（分散式）後，可以對每一個功能模塊或節點用集群的方式來部署，從而達到提升應用程式的整體性能以及高可用的優點。
1.1. 分散式概述
可以將分散式理解為，將某一個應用程式，拆分成多個模塊來部署，各個模塊負責不同的功能；分散式的優點是細化了應用程式的功能模塊，同時也減輕了一個完整的應用程式部署在一臺伺服器上的負擔，用了分散式拆分後，就相當於把一個應用程式的多個功能分配到多台伺服器上去處理了。
1.2.集群概述
集群的意思就是將一個應用程式，部署到多台伺服器上面，然後在這些伺服器的前面通過負載均衡伺服器來擇優選擇哪一臺伺服器去執行；集群的優點就是當其中的一個伺服器宕機了，其他伺服器可以接上繼續工作；將應用程式部署在多台伺服器時，也提供了數據的吞吐量。
2.FastDFS簡介
FastDFS是由淘寶的餘慶先生所開發，是一個輕量級、高性能的開源分散式文件系統，用純C語言開發，包括文件存儲、文件同步、文件訪問（上傳、下載）、存取負載均衡、線上擴容、相同內容只存儲一份等功能，適合有大容量存儲需求的應用或系統。做分散式系統開發時，其中要解決的一個問題就是圖片、音視頻、文件共用的問題，分散式文件系統正好可以解決這個需求。同類的分散式文件系統有谷歌的GFS、HDFS（Hadoop）、TFS（淘寶）等,特別適合以中小文件（建議範圍：4KB < file_size <500MB）為載體的線上服務。
FastDFS 系統有三個角色：跟蹤伺服器(Tracker Server)、存儲伺服器(Storage Server)和客戶端(Client)。
Tracker Server：跟蹤伺服器，主要做調度工作，起到均衡的作用；負責管理所有的 storage server和 group，每個 storage 在啟動後會連接 Tracker，告知自己所屬 group 等信息，並保持周期性心跳。
Storage Server：存儲伺服器，主要提供容量和備份服務；以 group 為單位，每個 group 內可以有多台 storage server，數據互為備份。
Client：客戶端，上傳下載數據的伺服器，也就是我們自己的項目所部署在的伺服器。
2.1. FastDFS的存儲策略
為了支持大容量，存儲節點（伺服器）採用了分捲（或分組）的組織方式。存儲系統由一個或多個捲組成，捲與捲之間的文件是相互獨立的，所有捲的文件容量累加就是整個存儲系統中的文件容量。一個捲可以由一臺或多台存儲伺服器組成，一個捲下的存儲伺服器中的文件都是相同的，捲中的多台存儲伺服器起到了冗餘備份和負載均衡的作用。
在捲中增加伺服器時，同步已有的文件由系統自動完成，同步完成後，系統自動將新增伺服器切換到線上提供服務。當存儲空間不足或即將耗盡時，可以動態添加捲。只需要增加一臺或多台伺服器，並將它們配置為一個新的捲，這樣就擴大了存儲系統的容量。
2.2. FastDFS與其他文件系統的對比
2.2.1. 與單機文件系統的對比
2.2.2. 與其他文件系統的對比
2.3. FastDFS文件上傳流程
FastDFS向使用者提供基本文件訪問介面，比如upload、download、append、delete等，以客戶端庫的方式提供給用戶使用。
Storage Server會定期的向Tracker Server發送自己的存儲信息。當Tracker Server Cluster中的Tracker Server不止一個時，各個Tracker之間的關係是對等的，所以客戶端上傳時可以選擇任意一個Tracker。當Tracker收到客戶端上傳文件的請求時，會為該文件分配一個可以存儲文件的group，當選定了group後就要決定給客戶端分配group中的哪一個storage server。當分配好storage server後，客戶端向storage發送寫文件請求，storage將會為文件分配一個數據存儲目錄。然後為文件分配一個fileid，最後根據以上的信息生成文件名存儲文件。
如圖:
簡單總結一下:
1、client詢問tracker上傳到的storage，不需要附加參數；
2、tracker返回一臺可用的storage；
3、client直接和storage通訊完成文件上傳。
2.4. FastDFS的文件同步
寫文件時，客戶端將文件寫至group內一個storage server即認為寫文件成功，storage server寫完文件後，會由後臺線程將文件同步至同group內其他的storage server。每個storage寫文件後，同時會寫一份binlog，binlog里不包含文件數據，只包含文件名等元信息，這份binlog用於後臺同步，storage會記錄向group內其他storage同步的進度，以便重啟後能接上次的進度繼續同步；進度以時間戳的方式進行記錄，所以最好能保證集群內所有server的時鐘保持同步。storage的同步進度會作為元數據的一部分彙報到tracker上，tracke在選擇讀storage的時候會以同步進度作為參考。
2.5. FastDFS的文件下載
客戶端uploadfile成功後，會拿到一個storage生成的文件名，接下來客戶端根據這個文件名即可訪問到該文件。
如圖:
跟upload file一樣，在downloadfile時客戶端可以選擇任意tracker server。tracker發送download請求給某個tracker，必須帶上文件名信息，tracke從文件名中解析出文件的group、大小、創建時間等信息，然後為該請求選擇一個storage用來服務讀請求。
簡單總結一下:
1、client詢問tracker下載文件的storage，參數為文件標識（組名和文件名）；
2、tracker返回一臺可用的storage；
3、client直接和storage通訊完成文件下載。
3. FastDFS Docker化集群搭建部署
3.1.準備工作
1）所有機器均能連接外網
2）已安裝docker
3）關閉防火牆或防火牆開放對下麵要使用的埠（埠在fastdfs集群啟動前開放即可）
3.2.搭建步驟
1） 碼雲上下載該fastdfs_in_docker文件包 鏈接:https://gitee.com/zjg23/fastdfs_in_docker(文件內含文件如下)
2）將fastdfs_in_docker文件通過xftp傳輸到所有機器的/home/fastdfs目錄下,並創建storage tracker目錄。
$ mkdir –p /home/fastdfs/{storage,tracker}(指令方式)
192.168.1.9(tracker伺服器)
192.168.1.7(storage伺服器)
192.168.1.2(storage伺服器)
如下圖：
3）(每台機器)進入到fastdfs_in_docker文件目錄,並執行docker build指令構建鏡像fastdfs鏡像。
$docker build -t unionman/fastdfs:2.0 .
此過程耗時會比較長，耐心等待。
4）如下圖可以見到,已經成功構建鏡像。
過docker images 指令查看當前已構建的鏡像。
$docker images
5）接下來，在192.168.1.9上運行容器 部署tracker伺服器。
$ docker run -d --name fdfs_tracker -v /home/fastdfs/tracker:/export/fastdfs/tracker --net=host -e TRACKER_BASE_PATH=/export/fastdfs/tracker -e TRACKER_PORT=22123 unionman/fastdfs:2.0 sh /usr/local/src/tracker.sh
成功運行容器後，通過docker ps指令查看正在運行的容器狀態及容器id。可以看到，tracker容器已經搭建好了。
$docker ps -a
6）接下來，在192.168.1.7 及192.168.1.2上運行容器 部署storage伺服器。
在192.168.1.7 上執行:
$ docker run -d --name fdfs_storage -v /home/fastdfs/storage:/export/fastdfs/storage --net=host -e STORAGE_PORT=23001 -e STORAGE_BASE_PATH=/export/fastdfs/storage -e STORAGE_PATH0=/export/fastdfs/storage -e TRACKER_SERVER=192.168.1.9:22123 -e GROUP_COUNT=2 -e HTTP_SERVER_PORT=8080 -e GROUP_NAME=group1 unionman/fastdfs:2.0 sh /usr/local/src/storage.sh
在192.168.1.2上執行:
$ docker run -d --name fdfs_storage -v /home/fastdfs/storage:/export/fastdfs/storage --net=host -e STORAGE_PORT=23001 -e STORAGE_BASE_PATH=/export/fastdfs/storage -e STORAGE_PATH0=/export/fastdfs/storage -e TRACKER_SERVER=192.168.1.9:22123 -e GROUP_COUNT=2 -e HTTP_SERVER_PORT=8080 -e GROUP_NAME=group2 unionman/fastdfs:2.0 sh /usr/local/src/storage.sh
同樣成功運行容器後，通過docker ps指令查看正在運行的容器狀態及容器id。可以看到，storage容器已經搭建好了。
$docker ps -a
到這裡，簡單的fastdfs集群就已經搭建完了。
在這裡簡單解釋一下docker run的命令。
7）接下來，我們進入到tracker容器內部查看fastdfs詳情。
$docker exec -it d9165515fb16 /bin/sh
$ vi /etc/fdfs/client.conf
執行指令查看監控狀態
$ /usr/bin/fdfs_monitor /etc/fdfs/client.conf
如果出現如圖下情況則，創建相應的文件目錄。
再次輸入指令
$ /usr/bin/fdfs_monitor /etc/fdfs/client.conf
接下來就可以看到詳細的監控狀態了。
如圖為tracker伺服器監控狀態:
隨便編寫一個txt文件,測試上傳
$vi zzf.txt
執行上傳文件指令
$ /usr/bin/fdfs_test /etc/fdfs/client.conf upload zzf.txt
結果如下圖所示
如圖為使用fdfs_test客戶端上傳文件，返回結果集:
每個storage上裝有nginx，所以文件也可以通過http的方式直接訪問
4.總結
對於fastDNF集群搭建，我也是處於入門階段，網上搜集很多前輩的資料，學習了幾天，親自搭建了一遍，也親自把他們的內容歸納總結成這一篇博文。可能還存在一些漏洞。後期有更好的方案或者優化我再去作相應的更新，或者哪位筆友發現問題或者有好的解決方案也可以提供一下，作為博園新人，不足的地方望大家見諒，大家一起進步學習。
