sersync實時同步實戰

来源:https://www.cnblogs.com/zeq912/archive/2018/09/09/9613804.html
-Advertisement-
Play Games

第1章 實時同步 1.1 什麼是實時同步 實時同步是一種只要當前目錄觸發事件，就馬上同步到遠程的目錄。rsync 1.2 為什麼要實時同步web->nfs->backup 保證數據的連續性（定時任務是以分鐘為單位的） 減少人力維護成本 1.3 實時同步工具的選擇 inotify+RSYNC（x） s ...


第1章 實時同步

1.1 什麼是實時同步

實時同步是一種只要當前目錄觸發事件，就馬上同步到遠程的目錄。rsync

1.2 為什麼要實時同步web->nfs->backup

保證數據的連續性（定時任務是以分鐘為單位的）

減少人力維護成本

1.3 實時同步工具的選擇

inotify+RSYNC（x）

sersync+RSYNC（√）

lsyncd

第2章 實時備份實踐

2.1 準備環境

角色

外網IP(NAT)

內網IP(LAN)

安裝工具

web01

eth0:10.0.0.7

eth1:172.16.1.7

 

nfs-server

eth0:10.0.0.31

eth1:172.16.1.31

rsync+inotify+sersync

backup

eth0:10.0.0.41

eth1:172.16.1.41

rsync-server

2.2 配置好backup伺服器

2.2.1 安裝rsync

[root@backup ~]# yum install rsync -y

2.2.2 配置rsync

[root@backup ~]# vi /etc/rsyncd.conf
uid = rsync
gid = rsync
port = 873
fake super = yes
use chroot = no
max connections = 200
timeout = 600
ignore errors
read only = false
list = true
secrets file = /etc/rsync.password
auth users = rsync_backup
log file = /var/log/rsyncd.log
#####################################
[backup]
path = /backup
 
[data]
path = /data

2.2.3 創建數據目錄

[root@backup ~]# mkdir /backup

[root@backup ~]# mkdir /data

2.2.4 創建用戶並授權

[root@backup ~]# useradd -M -s /sbin/nologin rsync

[root@backup ~]# chown -R rsync.rsync /backup/ /data/

[root@backup ~]# ll -d /backup/ /data/

drwxr-xr-x 7 rsync rsync 256 9月   7 08:52 /backup/

drwxr-xr-x 2 rsync rsync   6 9月   7 11:44 /data/

2.2.5 創建鏈接的虛擬用戶密碼文件並賦予600許可權

[root@backup ~]# echo "rsync_backup:1" /etc/rsync.password

[root@backup ~]# chmod 600 /etc/rsync.password

2.2.6 啟動rsyncd

[root@backup ~]# systemctl restart rsyncd

2.3 配置好nfs伺服器

2.3.1 安裝nfs

[root@nfs ~]# yum install nfs-utils -y

2.3.2 配置nfs

[root@nfs ~]# vim /etc/exports

/data 172.16.1.0/24(rw,sync,all_squash,anonuid=666,anongid=666)

2.3.3 配置nfs依賴環境

[root@nfs ~]# groupadd -g 666 www

[root@nfs ~]# useradd -u 666 -g 666 www

[root@nfs ~]# mkdir /data

[root@nfs ~]# chown -R www.www /data

2.3.4 啟動nfs

[root@nfs ~]# systemctl enable rpcbind nfs-utils

[root@nfs ~]# systemctl start rpcbind nfs-server

2.4 配置好web伺服器

2.4.1 先安裝對應的工具包

[root@web01 ~]# yum install nfs-utils -y

[root@web01 ~]# systemctl start rpcbind

2.4.2 創建目錄，用於掛載使用

[root@web01 ~]# mkdir /data

2.4.3 掛載nfs的data目錄

[root@web01 ~]# showmount -e 172.16.1.31

Export list for 172.16.1.31:

/data 172.16.1.0/24

[root@web01 ~]# mount -t nfs 172.16.1.31:/data /data

2.4.4 通過windows上傳一個視頻或圖片至/data

[root@web01 ~]# wget http://img.mp.itc.cn/upload/20170511/cad88c2e57f44e93b664a48a98a47108_th.jpg

2.4.5 驗證內容是否存在nfs伺服器

[root@nfs ~]# ls /data/

cad88c2e57f44e93b664a48a98a47108_th.jpg  tes1  test

2.5 nfs共用的data目錄一旦發生變化，實時的同步至backup

2.5.1 安裝inotify-tools

[root@nfs ~]# yum install inotify-tools rsync -y

2.5.2 安裝sersync

[root@nfs ~]# wget https://raw.githubusercontent.com/wsgzao/sersync/master/sersync2.5.4_64bit_binary_stable_final.tar.gz

2.5.3 解壓並重命名

[root@nfs ~]# tar xf sersync2.5.4_64bit_binary_stable_final.tar.gz

[root@nfs ~]# mv GNU-Linux-x86/ /usr/local/sersync

2.5.4 配置好sersync即可

[root@nfs01 sersync]# vim /usr/local/sersync/confxml.xml            vim進入文件以後按esc鍵，然後：set nu 顯示行號，然後在進行修改對應行號需要修改的地方

 5     <fileSystem xfs="true"/>  <!-- 文件系統 -->
 6     <filter start="false">  <!-- 排除不想同步的文件-->
 7         <exclude expression="(.*)\.svn"></exclude>
 8         <exclude expression="(.*)\.gz"></exclude>
 9         <exclude expression="^info/*"></exclude>
 10         <exclude expression="^static/*"></exclude>
 11     </filter>

 12     <inotify> <!-- 監控的事件類型 -->
 13         <delete start="true"/>
 14         <createFolder start="true"/>
 15         <createFile start="true"/>
 16         <closeWrite start="true"/>
 17         <moveFrom start="true"/>
 18         <moveTo start="true"/>
 19         <attrib start="false"/>
 20         <modify start="false"/>
 21     </inotify>

 23     <sersync>
 24         <localpath watch="/data"> <!-- 監控的目錄 -->
 25             <remote ip="172.16.1.41" name="data"/>  <!-- backup的IP以及模塊 -->
 28         </localpath>

 29         <rsync> <!-- rsync的選項 -->
 30             <commonParams params="-az"/>
 31             <auth start="true" users="rsync_backup" passwordfile="/etc/rsync.pass"/>

 32             <userDefinedPort start="false" port="874"/><!-- port=874 -->
 33             <timeout start="true" time="100"/><!-- timeout=100 -->
 34             <ssh start="false"/>
 35         </rsync>

            <!-- 每60分鐘執行一次同步-->
 36         <failLog path="/tmp/rsync_fail_log.sh" timeToExecute="60"/><!--def

    ault every 60mins execute once-->

2.5.5 sersync配置文件詳解

<?xml version="1.0" encoding="ISO-8859-1"?>
<head version="2.5">
    #hostip本機的Ip地址，後臺使用那個埠來進行實時備份
    <host hostip="localhost" port="8008"></host>
    #是否開啟debug 調試信息
    <debug start="false"/>
    #是否支持xfs文件系統，如果有分區文件系統為xfs的時候，需要開啟這個選項
    <fileSystem xfs="false"/>
    #是否開啟過濾，排除
    <filter start="false">
    #exclude排除這些文件名中包含這些字元的，不推送這些
    <exclude expression="(.*)\.svn"></exclude>
    <exclude expression="(.*)\.gz"></exclude>
    <exclude expression="^info/*"></exclude>
    <exclude expression="^static/*"></exclude>
    </filter>
    #inotify模塊的配置
    <inotify>
    #是否開啟完全同步，源文件裡面有什麼，目標文件裡面就有什麼，特別危險，不開啟
    <delete start="false"/>
    #是否監控目錄，如果不開啟他將不監控這個目錄下的子文件和子目錄的更改，除非有特殊要求，否則必須開啟
    <createFolder start="true"/>
    #創建文件就監控，我們一般把這個設為false，否則太消耗性能
    <createFile start="false"/>
    #文件關閉的時候就推送，這個開啟，新建文件打開這個就會對上面的進行備份了
    <closeWrite start="true"/>
    #mv剪切走
    <moveFrom start="true"/>
    #mv剪切到這個文件裡面
    <moveTo start="true"/>
    #更改文件隱藏屬性
    <attrib start="false"/>
    #監控許可權更改就會推送，一般選擇開啟
    <modify start="true"/>
    </inotify>

    <sersync>
    #本地要備份的目錄
    <localpath watch="/backup">
        #遠程rsync的地址，和使用的模塊
        <remote ip="10.0.0.61" name="backup_crond"/>
        <!--<remote ip="192.168.8.39" name="tongbu"/>-->
        <!--<remote ip="192.168.8.40" name="tongbu"/>-->
    </localpath>
    <rsync>
        #rsync推送的使用的參數
        <commonParams params="-az"/>
        #是不是開啟用戶認證，使用的那個用戶，密碼文件什麼，密碼文件許可權必須是600
        <auth start="true" users="cron_backup" passwordfile="/etc/rsync_passwd_cron.conf"/>
        #服務端使用的那個埠，埠地址是什麼
        <userDefinedPort start="false" port="874"/><!-- port=874 -->
        #推送超時時間，超過這個時間就認為推送不成功。
        <timeout start="true" time="300"/><!-- timeout=100 -->
        <ssh start="false"/>
    </rsync>
    <failLog path="/tmp/rsync_fail_log.sh" timeToExecute="60"/><!--default every 60mins execute once-->
    <crontab start="false" schedule="600"><!--600mins-->
        <crontabfilter start="false">
        <exclude expression="*.php"></exclude>
        <exclude expression="info/*"></exclude>
        </crontabfilter>
    </crontab>
    <plugin start="false" name="command"/>
    </sersync>

    <plugin name="command">
    <param prefix="/bin/sh" suffix="" ignoreError="true"/>  <!--prefix /opt/tongbu/mmm.sh suffix-->
    <filter start="false">
        <include expression="(.*)\.php"/>
        <include expression="(.*)\.sh"/>
    </filter>
    </plugin>

 

2.5.6 創建密碼文件

[root@nfs01 sersync]# echo "1" > /etc/rsync.pass        

[root@nfs ~]# chmod 600 /etc/rsync.pass

2.5.7 啟動sersync

[root@nfs ~]# /usr/local/sersync/sersync2  -h
set the system param
execute：echo 50000000 > /proc/sys/fs/inotify/max_user_watches
execute：echo 327679 > /proc/sys/fs/inotify/max_queued_events
parse the command param
_______________________________________________________
參數-d:啟用守護進程模式
參數-r:在監控前，將監控目錄與遠程主機用rsync命令推送一遍
參數-n: 指定開啟守護線程的數量，預設為10個
參數-o:指定配置文件，預設使用confxml.xml文件
參數-m:單獨啟用其他模塊，使用 -m refreshCDN 開啟刷新CDN模塊
參數-m:單獨啟用其他模塊，使用 -m socket 開啟socket模塊
參數-m:單獨啟用其他模塊，使用 -m http 開啟http模塊
不加-m參數，則預設執行同步程式
________________________________________________________________
[root@nfs ~]# /usr/local/sersync/sersync2 -dro /usr/local/sersync/confxml.xml

註意：如果發生錯誤，請手動執行命令檢查推送是否正常

[root@nfs ~]# cd /data && rsync -avz -R --delete ./  --timeout=100 [email protected]::data --password-file=/etc/rsync.pass

2.6 如果nfs現在down機了，希望將web客戶端掛載至backup伺服器上？怎麼實現？

2.6.1 nfs和backup兩台伺服器應該保持一樣（nfs配置。nfs共用的目錄。nfs的許可權）

[root@backup ~]# yum install nfs-utils -y

[root@backup ~]# rsync -avz [email protected]:/etc/exports /etc/

[root@backup ~]# groupadd -g 666 www

[root@backup ~]# useradd -u666 -g666 www

2.6.2 啟動nfs

 [root@backup ~]# systemctl start rpcbind

 [root@backup ~]# systemctl start nfs-server

2.6.3 修改rsync的許可權vim /etc/rsyncd.conf

uid = www

gid = www 

2.6.4 修改授權

[root@backup ~]# chown -R www.www /data/ /backup/

2.6.5 重啟rsync

[root@backup ~]# systemctl restart rsyncd

2.6.6 模擬nfs故障（掛起虛擬機）

2.6.7 web強制卸載172.16.1.31:/data      

[root@web01 ~]# umount -lf /data

2.6.8 web嘗試掛載172.16.1.41:/data

[root@web01 ~]# mount -t nfs 172.16.1.41:/data /data/

2.6.9 掛載成功後就可以查看共用目錄/data了


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • netcore編程之後面對不習慣的xshell黑屏部署，是時候使用jenkins自動化發佈工具了
    在很久之前net還只能在windows上部署的時候，或許很多創業公司的朋友發佈項目還都是人肉部署，反正windows都是可視化的界面，拖拖拉拉，開開關關還不 是特別麻煩。。。現如今你的項目需要在linux上部署，可惜的是再也沒有什麼可視化的界面給你，全在xshell上操作，如果在xshell上部署個 ...
  • 第一個C#程式
    教學中第一講中的源程式代碼。主要瞭解C#程式的結構，C#基本語法風格。C#中引入命名空間，定義命名空間，定義類，定義主方法及基本的輸出方法。 ...
  • VM虛擬機克隆_修改網路
    1、如果網路中沒有VMware的網卡，記得重置即可 2、如果右上角沒有了網路圖標，直接 server NetworkManager restart 3、網路配置 1）在/etc/sysconfig/network-scripts/ifcfg-eth0(確認ONBOOT=yes),其中eth0是設備名 ...
  • linux交換分區調整
      SWAP就是LINUX下的虛擬記憶體分區，它的作用是在物理記憶體使用完之後，將磁碟空間(也就是SWAP分區)虛擬成記憶體來使用。它和Windows系統的交換文件作用類似，但是它是一段連續的磁碟空間，並且對用戶不可見。   需要註意的是，雖然這個SWAP分區能夠作 ...
  • Centos6.5下 執行“ll”提示“-bash: ll: command not found”
    ll 是 ls -l的別名，之所所以 ll出現錯誤是因為沒有定義別名。 如果要實現ll 命令，可以做如下操作： 編輯 ~./bashrc 添加 ls -l 的別名為 ll即可 [root@Centos6 ~]# vi ~/.bashrc 再次執行 ll 命令 YoaoLab ...
  • Linux編程 7 (實時監測進程 top， 結束進程kill，killall)
    一. 實時監測進程 top 在一篇里講到ps命令在收集進程信息時非常有用，但它只能顯示某個特定時間點的信息。想要觀察那些頻繁換進換出的記憶體進程趨勢，用top命令是合適的。使用top命令如下圖所示： 在上圖中分為二部份信息，一部份是系統的概述，另一部份是列表的進程概述。 1.1 第一部分 第一行顯示了 ...
  • 程式的併發執行
    一、程式的順序執行 在早期無操作系統及單道批處理系統時，程式都是按照順序進行執行的。先進入記憶體的先執行，在執行的過程中不能執行其他的程式。程式中的指令也是按照順序執行，一條指令正在執行時不能開始執行另一條指令。所以程式順序執行有以下幾個特點。 1.1、順序性 處理機的操作，嚴格按照順序執行，前一操作 ...
  • stm32串口通信實驗，一點筆記
    第一次深入學習stm32，花了好長時間才看懂代碼（主要是C語言學習不夠深入），又花了段時間自己敲了一遍，然後比對教程，瞭解了利用中斷來串口通信的設置方法。 板子是探索版f407,本實驗工程把正點原子庫函數工程模版拿來使用，自己主要敲了一下main.c、usart.h和.c文件。 一、頭文件usart ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發（一）：使用.NET MAUI開發第一個安卓APP
    移動開發（一）：使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說，近來想嘗試開發一款安卓APP，考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP，畢竟是使用Visual Studio開發工具，使用起來也比較的順手，結合微軟官方的教程進行了安卓 ...
  • wpf ToggleButton選中效果和一個登錄界面
    前言 QuestPDF 是一個開源 .NET 庫，用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫，它徹底改變了我們生成 PDF 文檔的方 ...
  • 彈幕樹洞項目功能新增篇
    項目地址 項目後端地址： https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址： ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址： http://tree ...
  • 第27篇 sqlserver2022詳細安裝步驟
    話不多說，直接開乾 一.下載 1.官方鏈接下載： https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe，運行開始下載SQL server； 二. ...
  • .NET 開源高性能 MQTT 類庫
    前言 隨著物聯網（IoT）技術的迅猛發展，MQTT（消息隊列遙測傳輸）協議憑藉其輕量級和高效性，已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫，為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog文檔翻譯系列（六） - 可用的接收器、增強器、格式化輸出
    Serilog支持多種接收器用於日誌存儲，增強器用於添加屬性，LogContext管理動態屬性，支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項，適用於不同需求。 ...
  • 警惕 Visual Studio 屬性求值副作用導致邏輯不符合預期
    目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據，爬取信息時需要模擬瀏覽器行為，否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下： 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • [使用目前最新版]HybridCLR6.9.0+YooAsset2.2.4實現純C# Unity熱更新方案 (一)
    1.前言 什麼是熱更新 游戲或者軟體更新時，無需重新下載客戶端進行安裝，而是在應用程式啟動的情況下，在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR，Xlua，ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles，Addressable， ...
  • 在 ASP.NET Core Web API 中使用操作篩選器統一處理通用操作
    本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺，其實像阿裡雲，騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後，它會送 ...
  • 第28篇 如何.net中實現高效可靠數據同步api
    通過以下方式可以高效，並保證數據同步的可靠性 1.API設計 使用RESTful設計，確保API端點明確，並使用適當的HTTP方法（如POST用於創建，PUT用於更新）。 設計清晰的請求和響應模型，以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證，確保接收到的數據符合預期格 ...
所有分類