一張圖講解最少機器搭建FastDFS高可用分散式集群安裝說明

来源:https://www.cnblogs.com/yuesf/archive/2019/11/18/11886267.html
-Advertisement-
Play Games

 很幸運參與零售雲快消平臺的公有雲搭建及孵化項目。零售雲快消平臺源於零售雲家電3C平臺私有項目，是與公司業務強耦合的。為了適用於全場景全品類平臺，集團要求項目平臺化，我們搶先並承擔了此任務。並由我來主要負責平臺建設及項目落地。  今天講解在零售雲快消平臺中使用的圖片服務FastD ...


 很幸運參與零售雲快消平臺的公有雲搭建及孵化項目。零售雲快消平臺源於零售雲家電3C平臺私有項目，是與公司業務強耦合的。為了適用於全場景全品類平臺，集團要求項目平臺化，我們搶先並承擔了此任務。並由我來主要負責平臺建設及項目落地。

 今天講解在零售雲快消平臺中使用的圖片服務FastDFS集群搭建說明，此集群模式是根據單機版的安裝說明，在之前已經分享過一篇 一張圖講解單機FastDFS圖片伺服器安裝步驟（修訂版），改造成最少機器分散式集群安裝說明。

FastDFS是什麼？

 FastDFS是一個開源的輕量級分散式文件系統，它對文件進行管理，功能包括：文件存儲、文件同步、文件訪問（文件上傳、文件下載）等，解決了大容量存儲和負載均衡的問題。特別適合以文件為載體的線上服務，如相冊網站、視頻網站等等。
 FastDFS為互聯網量身定製，充分考慮了冗餘備份、負載均衡、線性擴容等機制，並註重高可用、高性能等指標，使用FastDFS很容易搭建一套高性能的文件伺服器集群提供文件上傳、下載等服務。
--- 來源於百度百科

FastDFS 簡介

FastDFS分兩部分，跟蹤器（tracker）和存儲節點（storage）。

 Tracker是FastDFS的協調者，負責管理所有的storage server和group，每個storage在啟動後會連接Tracker，告知自己所屬的group等信息，並保持周期性的心跳，tracker根據storage的心跳信息，建立group==>[storage server list]的映射表。

 Storage 是以組（捲，group或volume）為單位組織，一個group內包含多台storage機器，數據互為備份，存儲空間以group內容量最小的storage為準，所以建議group內的多個storage儘量配置相同，以免造成存儲空間的浪費。

FastDFS是由2008年開始採用C語言研發致今在維護更新，已經廣泛使用，創始人餘慶 現以有他自己的公眾號： 微信號: fastdfs100 ， FastDFS官方 github https://github.com/happyfish100/ 已經有多個相關組件

最少機器高可用總覽圖

file

在以下配置中沒有說明VIP的配置，後面會對VIP詳細說明。
VIP的目的是統一負載storageserver，storageserver的伸縮性不影響使用方的。

一、環境準備

軟體版本說明：

libfastcommon 使用的版本： libfastcommon-1.0.41.tar.gz

FastDFS 使用的版本： fastdfs-6.01.tar.gz

fastdfs-nginx-module 使用的版本：fastdfs-nginx-module-1.21.tar.gz

nginx 使用的版本： nginx-1.16.1.tar.gz

操作系統：CentOS 7.X

最低高可用

四台機器 分配情況：

TrackerServer1 ：192.168.0.1

TrackerServer2 ：192.168.0.2

StorageServer1：192.168.0.3

StorageServer2：192.168.0.4

Tracker伺服器準備上傳文件

準備上傳/opt/apps 目錄下：

libfastcommon-1.0.41.tar.gz
fastdfs-6.01.tar.gz

Storage伺服器準備上傳文件

準備上傳/opt/apps 目錄下：

libfastcommon-1.0.41.tar.gz
fastdfs-6.01.tar.gz
fastdfs-nginx-module-1.21.tar.gz
 nginx-1.16.1.tar.gz

二、安裝過程

TrackerServer1安裝過程

1、安裝 libfastcommon-1.0.41.tar.gz

tar -zxvf libfastcommon-1.0.41.tar.gz
cd libfastcommon-1.0.41/
./make.sh
./make.sh install

2、安裝 FastDFS

tar -zxvf  fastdfs-6.01.tar.gz
cd fastdfs-6.01/
./make.sh
./make.sh install
#配置文件準備
cp /etc/fdfs/tracker.conf.sample /etc/fdfs/tracker.conf
cp /etc/fdfs/client.conf.sample /etc/fdfs/client.conf
Tracker Server 配置
vim /etc/fdfs/tracker.conf

修改配置如下：

#tracker server埠號
port=22122
#存儲日誌和數據的根目錄
base_path=/opt/fastdfs/tracker

3、開放防火牆埠

1）打開跟蹤埠
vim /etc/sysconfig/iptables
2）添加以下埠行：
-A INPUT -m state --state NEW -m tcp -p tcp --dport 22122 -j ACCEPT
3）重啟防火牆
service iptables restart

4、啟動Tracker

/etc/init.d/fdfs_trackerd start

TrackerServer2安裝過程

安裝步驟同TrackerServer1

StorageServer1安裝過程

1、安裝 libfastcommon-1.0.41.tar.gz

tar -zxvf libfastcommon-1.0.41.tar.gz
cd libfastcommon-1.0.41/
./make.sh
./make.sh install

2、安裝 FastDFS

tar -zxvf  fastdfs-6.01.tar.gz
cd fastdfs-6.01/
./make.sh
./make.sh install
#配置文件準備
cp /etc/fdfs/storage.conf.sample /etc/fdfs/storage.conf
cd /opt/apps/fastdfs-6.01/conf
cp http.conf mime.types /etc/fdfs/
Storage Server 配置
vim /etc/fdfs/storage.conf

修改配置如下：

#storage server埠號
port=23000
#數據和日誌文件存儲根目錄
base_path=/opt/fastdfs/storage
#第一個存儲目錄
store_path0=/opt/fastdfs/storepath0
#tracker伺服器IP和埠
tracker_server=192.168.0.1:22122
tracker_server=192.168.0.2:22122
#http訪問文件的埠(預設8888,看情況修改,和nginx中保持一致)
http.server_port=8888

3、安裝Nginx和 fastdfs-nginx-module

1）安裝fastdfs-nginx-module
#解壓fastdfs-nginx-module
tar -zxvf fastdfs-nginx-module-1.21.tar.gz
cd fastdfs-nginx-module-1.21/
cp ./src/mod_fastdfs.conf /etc/fdfs
2）安裝Nginx
#解壓nginx
tar -zxvf nginx-1.16.1.tar.gz
cd nginx-1.16.1/
#安裝nginx_http_image_filter_module
yum -y install gd-devel
#安裝依賴組件
yum -y install zlib zlib-devel openssl openssl--devel pcre pcre-devel
#關聯模塊配置
./configure --add-module=../fastdfs-nginx-module-1.21/src --prefix=/usr/local/nginx --with-http_image_filter_module
#編譯nginx
make
#安裝nginx
make install
3）查看是否安裝成功
/usr/local/nginx/sbin/nginx -V

查看插件是否安裝成功

[root@FastDFS nginx-1.16.1]# /usr/local/nginx/sbin/nginx -V
nginx version: nginx/1.16.1
built by gcc 4.8.5 20150623 (Red Hat 4.8.5-11) (GCC) 
configure arguments: --add-module=../fastdfs-nginx-module-1.21/src --prefix=/usr/local/nginx --with-http_image_filter_module
[root@FastDFS nginx-1.16.1]#
4）修改Nginx配置

修改nginx.conf配置

vim /usr/local/nginx/conf/nginx.conf

修改配置如下：

user  nobody;
worker_processes  1;

events {
    worker_connections  1024;
}

http {
    include       mime.types;
    default_type  application/octet-stream;
  sendfile        on;
    #tcp_nopush     on;

    #keepalive_timeout  0;
    keepalive_timeout  65;

    #gzip  on;

    server {
        listen       8888;
        server_name  localhost;

        location ~/group1/M00 {
            ngx_fastdfs_module;
        }

        location / {
            root   html;
            index  index.html index.htm;
        }

        #error_page  404              /404.html;

        # redirect server error pages to the static page /50x.html
        #
        error_page   500 502 503 504  /50x.html;
        location = /50x.html {
            root   html;
        }
    }

    upstream storage_server_group1 {
        server 192.168.0.3:8888 weight=10;
        server 192.168.0.4:8888 weight=10;
    }
}

修改mod_fastdfs.conf配置

vim /etc/fdfs/mod_fastdfs.conf

修改配置如下：

#
connect_timeout=10
#tracker伺服器IP和埠
tracker_server=192.168.0.1:22122
tracker_server=192.168.0.2:22122
#是否啟用group組名
url_have_group_name=true
#
store_path0=/opt/fastdfs/storepath0

5、開放防火牆埠

1）打開跟蹤埠
vim /etc/sysconfig/iptables
2）添加以下埠行：
-A INPUT -m state --state NEW -m tcp -p tcp --dport 8888 -j ACCEPT
-A INPUT -m state --state NEW -m tcp -p tcp --dport 23000 -j ACCEPT
3）重啟防火牆
service iptables restart

4、啟動Storage

/etc/init.d/fdfs_storaged start

5、啟動Nginx

#啟動
/usr/local/nginx/sbin/nginx
#停止
/usr/local/nginx/sbin/nginx -s stop
#重啟
/usr/local/nginx/sbin/nginx -s reload

StorageServer2安裝過程

安裝步驟同StorageServer1安裝過程

測試上傳圖片

使用TrackerServer1機器進行測試

1、Client配置
vim /etc/fdfs/client.conf

修改配置如下：

#
base_path=/opt/apps/fastdfs/client
#tracker伺服器IP和埠
tracker_server=192.168.0.1:22122 
tracker_server=192.168.0.2:22122
2、準備上傳的圖片
3、上傳圖片
 fdfs_upload_file /etc/fdfs/client.conf test.jpg

或使用以下命令測試

fdfs_test  /etc/fdfs/client.conf upload test.jpg

測試結果

[root@ecsf-toj5rfb9 apps]# fdfs_test  /etc/fdfs/client.conf upload test.jpg
This is FastDFS client test program v6.01

Copyright (C) 2008, Happy Fish / YuQing

FastDFS may be copied only under the terms of the GNU General
Public License V3, which may be found in the FastDFS source kit.
Please visit the FastDFS Home Page http://www.csource.org/ 
for more detail.

[2019-11-13 17:53:15] DEBUG - base_path=/opt/fastdfs/client, connect_timeout=10, network_timeout=60, tracker_server_count=2, anti_steal_token=0, anti_steal_secret_key length=0, use_connection_pool=0, g_connection_pool_max_idle_time=3600s, use_storage_id=0, storage server id count: 0

tracker_query_storage_store_list_without_group: 
    server 1. group_name=, ip_addr=6.0.36.217, port=23000
    server 2. group_name=, ip_addr=6.0.36.218, port=23000

group_name=group1, ip_addr=192.168.0.4, port=23000
storage_upload_by_filename
group_name=group1, remote_filename=M00/00/00/BgAk2l3L0oSAAhsuAAHf-RXvI9M055.jpg
source ip address: 192.168.0.4
file timestamp=2019-11-13 17:53:08
file size=122873
file crc32=367993811
example file url: http://192.168.0.4/group1/M00/00/00/BgAk2l3L0oSAAhsuAAHf-RXvI9M055.jpg
storage_upload_slave_by_filename
group_name=group1, remote_filename=M00/00/00/BgAk2l3L0oSAAhsuAAHf-RXvI9M055_big.jpg
source ip address: 192.168.0.4
file timestamp=2019-11-13 17:53:08
file size=122873
file crc32=367993811
example file url: http://192.168.0.4/group1/M00/00/00/BgAk2l3L0oSAAhsuAAHf-RXvI9M055_big.jpg

本文由博客一文多發平臺 OpenWrite 發佈！

再次感謝!!! 您已看完全文，歡迎關註微信公眾號猿碼 ，你的支持是我持續更新文章的動力！


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • JSON.stringify & JSON.parse 簡析
    以前用到JSON的場景也不少，但是沒有仔細的研究過，這幾天趁著一個需求用到了，就整理了一下相關用法。 一、 JSON.stringify() 1. 語法 JSON.stringify(value[, replacer [, space]]) 2. 先說一下後面兩個可選參數 space：是指定縮進用的 ...
  • ES6 ... 展開&收集運算符
    ...展開&收集運算符，也就是說他可以乾兩件事情，展開和收集 一：收集，顧名思義把散列東西收集到一個地方，這個地方ES6規定收集在數組中 例如：下麵函數fn將傳遞的參數收集在arg變數中，列印arg是一個數組，裡面包含著傳來的參數。就像吃豆子一樣把值收到自己的嘴裡。 function fn(...a ...
  • 設計模式--觀察者模式
    設計模式--觀察者模式 1、觀察者模式 觀察者模式：定義對象間一種一對多的依賴關係，當一個對象狀態發生變化時，所有依賴於它的對象都得到通知，並被自動更新。 2、觀察者模式的結構 角色 主題（Subject）:主題是一個介面，該介面規定了具體主題需要實現的方法，比如添加，刪除觀察者以及通知觀察者的方法 ...
  • 設計模式--裝飾器模式
    裝飾器模式--裝飾模式 1、裝飾模式 裝飾模式：動態的給對象添加一些額外的職責，例如，給相片加各種不同的相框（相框就是裝飾器）。 2、裝飾模式的結構 角色 抽象組件（Component）: 抽象組件定義了需要進行裝飾的方法，也就是“被裝飾者”角色； 具體組件(ConcreteComponent)： ...
  • 系統分析師-軟體水平考試（高級）-開篇
    系統分析師 軟體水平考試（高級） 開篇 前言 時隔一年，我開始了系統分析師的博客寫作。回過頭翻看一下，一年前的系統架構設計師系列的第一篇博客 需求理論，還是比較有感觸的。 其實系統分析師的考試早在上邊年五月份就參與了，也在六月份就知道自己通過了考試。但是一方面系統分析師與系統架構設計師有很多內容上的 ...
  • SpingBoot之集成Redis集群
    一、安裝Redis集群 安裝步驟參照網上教程，Mac安裝步驟參照https://github.com/muyl/mac docker redis cluster 二、創建SpringBoot工程 1. 創建Redis配置類 2. SpringBoot屬性文件 3. SpringBoot啟動類 4. ...
  • Python—創建進程池的方式
    後補 ...
  • JVM 運行參數 & 代碼監控
    1、Java代碼監控 JDK提供java.lang.management包， 其實就是基於JMX技術規範，提供一套完整的MBean，動態獲取JVM的運行時數據，達到監控JVM性能的目的。 代碼地址 "https://github.com/AganRun/Learn/tree/master/Java/ ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發（一）：使用.NET MAUI開發第一個安卓APP
    移動開發（一）：使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說，近來想嘗試開發一款安卓APP，考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP，畢竟是使用Visual Studio開發工具，使用起來也比較的順手，結合微軟官方的教程進行了安卓 ...
  • wpf ToggleButton選中效果和一個登錄界面
    前言 QuestPDF 是一個開源 .NET 庫，用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫，它徹底改變了我們生成 PDF 文檔的方 ...
  • 彈幕樹洞項目功能新增篇
    項目地址 項目後端地址： https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址： ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址： http://tree ...
  • 第27篇 sqlserver2022詳細安裝步驟
    話不多說，直接開乾 一.下載 1.官方鏈接下載： https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe，運行開始下載SQL server； 二. ...
  • .NET 開源高性能 MQTT 類庫
    前言 隨著物聯網（IoT）技術的迅猛發展，MQTT（消息隊列遙測傳輸）協議憑藉其輕量級和高效性，已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫，為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog文檔翻譯系列（六） - 可用的接收器、增強器、格式化輸出
    Serilog支持多種接收器用於日誌存儲，增強器用於添加屬性，LogContext管理動態屬性，支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項，適用於不同需求。 ...
  • 警惕 Visual Studio 屬性求值副作用導致邏輯不符合預期
    目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據，爬取信息時需要模擬瀏覽器行為，否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下： 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • [使用目前最新版]HybridCLR6.9.0+YooAsset2.2.4實現純C# Unity熱更新方案 (一)
    1.前言 什麼是熱更新 游戲或者軟體更新時，無需重新下載客戶端進行安裝，而是在應用程式啟動的情況下，在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR，Xlua，ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles，Addressable， ...
  • 在 ASP.NET Core Web API 中使用操作篩選器統一處理通用操作
    本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺，其實像阿裡雲，騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後，它會送 ...
  • 第28篇 如何.net中實現高效可靠數據同步api
    通過以下方式可以高效，並保證數據同步的可靠性 1.API設計 使用RESTful設計，確保API端點明確，並使用適當的HTTP方法（如POST用於創建，PUT用於更新）。 設計清晰的請求和響應模型，以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證，確保接收到的數據符合預期格 ...
所有分類