Linux之sersync數據實時同步

来源:https://www.cnblogs.com/caicairui/archive/2018/02/26/8472888.html
-Advertisement-
Play Games

sersync其實是利用inotify和rsync兩種軟體技術來實現數據實時同步功能的，inotify是用於監聽sersync所在伺服器上的文件變化，結合rsync軟體來進行數據同步，將數據實時同步給客戶端伺服器。 工作過程：在同步主伺服器上開啟sersync，負責監聽文件系統的變化，然後調用rsy ...


sersync其實是利用inotify和rsync兩種軟體技術來實現數據實時同步功能的，inotify是用於監聽sersync所在伺服器上的文件變化，結合rsync軟體來進行數據同步，將數據實時同步給客戶端伺服器。

　　　　工作過程：在同步主伺服器上開啟sersync，負責監聽文件系統的變化，然後調用rsync命令把更新的文件同步到目標伺服器上，主伺服器上安裝sersync軟體，目標伺服器上安裝rsync服務

1、客戶端配置

[root@localhost2 ~]# cat /etc/rsyncd.conf 
##created by cai at 2018-2-24
uid=rsync
gid=rsync
use chroot = no
max connections = 200
timeout = 300
pid file = /var/run/rsyncd.pid
lock file = /var/run/rsync.lock
log file = /var/log/rsyncd.log
[data]
path = /data/
ignore errors
read only = false
list = false
hosts allow = 192.168.181.128:52000/24
hosts deny = 0.0.0.0/32
auth users = rsync_body
secrets file = /etc/rsync.password

[root@localhost2 ~]# ls -ld /data/
drwxrwxrwx. 3 rsync rsync 4096 Feb 24 16:58 /data/

[root@localhost2 ~]# cat /etc/rsync.password
rsync_body:admin

[root@localhost2 ~]# ls -ld /etc/rsync.password
-rw-------. 1 root root 17 Feb 24 16:26 /etc/rsync.password　　#600許可權

[root@localhost2 ~]# netstat -lntup| grep "rsync"
tcp 0 0 0.0.0.0:873 0.0.0.0:* LISTEN 1497/rsync
tcp 0 0 :::873 :::* LISTEN 1497/rsync

2、主伺服器配置

[root@localhost1 ~]# cat /etc/rsync.password 
admin
[root@localhost1 ~]# ls -ld /etc/rsync.password 
-rw------- 1 root root 6 Feb 24 03:54 /etc/rsync.password

3、安裝sersync服務

採用inotify來對文件進行監控，當監控到文件有文件發生改變的時候，就會調用rsync實現觸髮式實時同步！

安裝sersync（註意sersync是工作在rsync的源伺服器上，也就是客戶端上）

[root@salt-client01 ~]# cd /usr/local/src/
[root@salt-client01 src]# tar -zxvf sersync2.5.4_64bit_binary_stable_final.tar.gz  -C /usr/local/
GNU-Linux-x86/
GNU-Linux-x86/sersync2
GNU-Linux-x86/confxml.xml
[root@salt-client01 src]# cd /usr/local/
[root@salt-client01 local]# mv GNU-Linux-x86 sersync
[root@salt-client01 local]# cd sersync/
[root@salt-client01 sersync]# mkdir conf bin log
[root@salt-client01sersync]# mv confxml.xml conf
[root@salt-client01sersync]# mv sersync2 bin/sersync

修改配置文件

  ***********************************30行開始******************************
   <commonParams params="-artuz"/>  #-artuz為rsync同步時的參數
    <authstart="true" users="rsync的虛擬用戶名(rsync_backup)" passwordfile="rsync的密碼文件"/>
   <userDefinedPort start="true"port="873"/><!-- port=874 -->
   <timeout start="false" time="100"/><!--timeout=100 -->
    <sshstart="false"/>
       ************************************第36行***********************************
       <failLogpath="自己定義的log文件夾(/usr/local/sersync/log)rsync_fail_log.sh"
       timeToExecute="60"/><!--defaultevery 60mins execute once-->
       *******************************************************************************
       *註：若有多個目錄備份可以穿件多個配置文件在啟動時的-o參數中添加即可

[root@salt-client01 conf]# diff confxml.xml confxml.xml.bak
24,25c24,25
<     <localpath watch="/data/">                          #data就是本地需要同步的文件夾到伺服器端的目錄
<         <remote ip="192.168.91.166" name="data"/>       #data (server的模塊名)是rsync 服務端的文件夾，也就是推送到伺服器端的目標文件夾，可以配置多個，
---
>     <localpath watch="/opt/tongbu">
>         <remote ip="127.0.0.1" name="tongbu1"/>
31c31
<         <auth start="true" users="rsync_body" passwordfile="/etc/rsync.password"/>   #true 才能生效，rsync_body同步時候虛擬賬號，後面是密碼文件
---
>         <auth start="false" users="root" passwordfile="/etc/rsync.pas"/>
33c33
<         <timeout start="true" time="100"/><!-- timeout=100 -->                    #true 才能生效
---
>         <timeout start="false" time="100"/><!-- timeout=100 -->
36c36
<     <failLog path="/usr/local/sersync/log/rsync_fail_log.sh" timeToExecute="60"/><!--default every 60mins execute once-->  #檢測rsync進程判斷，沒有自動啟
---
>     <failLog path="/tmp/rsync_fail_log.sh" timeToExecute="60"/><!--default evePry 60mins execute once-->

啟動sersync

[root@salt-client01 src]# echo 'export PATH=$PATH:/usr/local/sersync/bin'>>/etc/profile #聲明環境變數
[root@salt-client01 src]# source /etc/profile
[root@salt-client01 src]# sersync2 -r -d -o /usr/local/sersync/conf/confxml.xml  #啟動
set the system param
execute：echo 50000000 > /proc/sys/fs/inotify/max_user_watches
execute：echo 327679 > /proc/sys/fs/inotify/max_queued_events
parse the command param
option: -r     rsync all the local files to the remote servers before the sersync work
option: -d     run as a daemon
option: -o     config xml name：  /usr/local/sersync/conf/confxml.xml
daemon thread num: 10
parse xml config file
host ip : localhost    host port: 8008
daemon start，sersync run behind the console
use rsync password-file :
user is    rsync_body
passwordfile is     /etc/rsync.password
config xml parse success
please set /etc/rsyncd.conf max connections=0 Manually
sersync working thread 12  = 1(primary thread) + 1(fail retry thread) + 10(daemon sub threads)
Max threads numbers is: 22 = 12(Thread pool nums) + 10(Sub threads)
please according your cpu ，use -n param to adjust the cpu rate
------------------------------------------
rsync the directory recursivly to the remote servers once
working please wait...
execute command: cd /data && rsync -artuz -R --delete ./  --timeout=100 rsync_body@192.168.91.166::data --password-file=/etc/rsync.password >/dev/null 2>&1
run the sersync:
watch path is: /data  #此時可以看出sersync已經啟動成功了

#檢測腳本
[root@salt-client01 log]# pwd
/usr/local/sersync/log
[root@salt-client01 log]# vim rsync_fail_log.sh
[root@salt-client01 log]# chmod +x rsync_fail_log.sh
[root@salt-client01 ~]# cat /usr/local/sersync/log/rsync_fail_log.sh
#!/bin/bash
#Purpose: Check sersync whether it is alive
#Author: cai meng zhi
SERSYNC="/usr/local/sersync/bin/sersync2"
CONF_FILE="/usr/local/sersync/conf/confxml.xml"
STATUS=$(ps aux |grep 'sersync2'|grep -v 'grep'|wc -l)
if [ $STATUS -eq 0 ];
then
        $SERSYNC -d -r -o $CONF_FILE &
else
        exit 0;
fi
腳本寫好以後，添加到計劃任務中去
*/1 * * * * /bin/bash /usr/local/sersync/log/rsync_fail_log.sh  > /dev/null 2>&1

測試同步：
客戶端新增文件
[root@salt-client01 data]# cp /etc/passwd 192.168.91.156.passwd
[root@salt-client01 data]# ll
total 4
-rw-r--r-- 1 root root 1928 Nov 10 18:15 192.168.91.156.passwd
-rw-r--r-- 1 root root    0 Nov 10 17:27 3
服務端檢測
[root@salt-master data]# cd /data/
[root@salt-master data]# ll
total 8
-rw-r--r-- 1 root root 1928 Nov 10 18:15 192.168.91.156.passwd  #說明已經同步過來了
-rw-r--r-- 1 root root    0 Nov 10 17:27 3
drwxr-xr-x 2 root root 4096 Nov 10 17:27 data

客戶端測試刪除
[root@salt-client01 data]# rm rf 192.168.91.156.passwd 
rm: cannot remove `rf': No such file or directory
rm: remove regular file `192.168.91.156.passwd'? y
[root@salt-client01 data]# ll
total 0
-rw-r--r-- 1 root root 0 Nov 10 17:27 3
[root@salt-client01 data]#

伺服器端：
[root@salt-master data]# ll
total 4
-rw-r--r-- 1 root root    0 Nov 10 17:27 3   #說明已經刪除掉了
drwxr-xr-x 2 root root 4096 Nov 10 17:27 data

4、常見錯誤彙總

錯誤一：
@ERROR: auth failed on module xxxxx
rsync: connection unexpectedly closed(90 bytes read so far)
rsync error: error in rsync protocoldata stream (code 12) at io.c(150)
說明：這是因為密碼設置錯了，無法登入成功，檢查一下rsync.pwd，看客服是否匹配。還有伺服器端沒啟動rsync 服務也會出現這種情況。
 
錯誤二：
password file must not beother-accessible
continuing without password file
Password:
說明：這是因為rsyncd.pwdrsyncd.sec的許可權不對，應該設置為600。如：chmod600 rsyncd.pwd
 
錯誤三：
@ERROR: chroot failed
rsync: connection unexpectedly closed(75 bytes read so far)
rsync error: error in rsync protocoldata stream (code 12) at io.c(150)
說明：這是因為你在 rsync.conf中設置的 path 路徑不存在，要新建目錄才能開啟同步
 
錯誤四：
rsync: failed to connect to218.107.243.2: No route to host (113)
rsync error: error in socket IO (code10) at clientserver.c(104) [receiver=2.6.9]
說明：防火牆問題導致，這個最好先徹底關閉防火牆，排錯的基本法就是這樣，無論是S還是C，還有ignore errors選項問題也會導致
 
錯誤五：
@ERROR: access denied to www fromunknown (192.168.1.123)
rsync: connection unexpectedly closed(0 bytes received so far) [receiver]
rsync error: error in rsync protocoldata stream (code 12) at io.c(359)
說明：此問題很明顯，是配置選項hostallow的問題，初學者喜歡一個允許段做成一個配置，然後模塊又是同一個，致使導致
 
錯誤六：
rsync error: received SIGINT,SIGTERM, or SIGHUP (code 20) at rsync.c(244) [generator=2.6.9]
rsync error: received SIGUSR1 (code19) at main.c(1182) [receiver=2.6.9]
說明：導致此問題多半是服務端服務沒有被正常啟動，到伺服器上去查查服務是否有啟動，然後查看下 /var/run/rsync.pid 文件是否存在，最乾脆的方法是殺死已經啟動了服務，然後再次啟動服務或者讓腳本加入系統啟動服務級別然後shutdown -r now伺服器

錯誤七：
rsync: read error: Connection resetby peer (104)
rsync error: error in rsync protocoldata stream (code 12) at io.c(604) [sender=2.6.9]
說明：原數據目錄里沒有數據存在

您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 『模板』快速排序
    方法一 cpp include using namespace std; void qs(int R[],int l,int r){ int p=R[l]; int i=l,j=r; while (ip) j ; if(i ...
  • C# 代碼占用的空間
    是不是代碼會占用空間，如果一個程式初始化需要 100M 的代碼，那麼在他初始化之後，這些代碼就沒有作用了，他會不會占空間？本文經過測試發現，代碼也是會占空間 ...
  • C＃ 枚舉轉字元串
    有時候需要把枚舉轉字元串，那麼如何把枚舉轉字元串？ <! more 枚舉轉字元串 假如需要把枚舉轉字元串，可以直接把他進行轉換，請看代碼 這樣就可以把枚舉轉字元串 除了這個方法，可以使用 C 6.0 的關鍵字，請看代碼 字元串轉枚舉 如果把一個枚舉轉字元串，那麼如何把字元串轉枚舉？可以使用 不過這個 ...
  • .Net Core和jexus配置HTTPS服務
    花了幾天時間，看了好多篇博客，終於搞定了網站的HTTPS服務，藉此寫篇博客，來讓有需要的朋友少走彎路。 一、環境介紹 1、Linux下在Docker容器中部署好了一個網站，該網站需要通過外部提供程式訪問微軟的登錄平臺，利用的是OAuth2.0協議，因此要求必須要使用SSL服務，也使得網站必須要加入H ...
  • .NET Core 2.1路線圖
    Microsoft的Scott Hunter發佈了Microsoft .NET Core 2.1版本的路線圖。Hunter宣佈Microsoft .NET Core每天約有五十萬開發人員的使用量。根據Microsoft所收集的數據，在2017年9月.NET Core 2的使用量已經超過了.NET C ...
  • llinux基本指令
    1.關機重啟1）關機shutdown -h now (立刻關機)shutdown -h 5 （5分鐘後關機）2）重啟shutdown -r now (立刻重啟)shutdown -r 5 （5分鐘後重啟）reboot （立刻重啟）2.遠程登錄1）ssh登錄ssh -l 用戶名 -p 埠 目標機器I ...
  • Linux_07、在Linux中安裝jdk
    前言 要在linux環境下麵工作，首先就要安裝好他的環境軟體，所以我們需要在我們的Linux系統中下載並且安裝jdk等文件。 一、安裝JDK 1.1下載合適版本的jdk 首先要到官網下載linux的版本的jdk，下載鏈接：http://www.oracle.com/technetwork/java/ ...
  • Linux之殺掉進程
    pkill命令可以按照進程名殺死進程。pkill和killall應用方法差不多，也是直接殺死運行中的程式；如果您想殺掉單個進程，請用kill來殺掉。 語法 選項 參數 進程名稱：指定要查找的進程名稱，同時也支持類似grep指令中的匹配模式。 實例 也就是說：kill對應的是PID，pkill對應的是 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發（一）：使用.NET MAUI開發第一個安卓APP
    移動開發（一）：使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說，近來想嘗試開發一款安卓APP，考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP，畢竟是使用Visual Studio開發工具，使用起來也比較的順手，結合微軟官方的教程進行了安卓 ...
  • wpf ToggleButton選中效果和一個登錄界面
    前言 QuestPDF 是一個開源 .NET 庫，用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫，它徹底改變了我們生成 PDF 文檔的方 ...
  • 彈幕樹洞項目功能新增篇
    項目地址 項目後端地址： https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址： ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址： http://tree ...
  • 第27篇 sqlserver2022詳細安裝步驟
    話不多說，直接開乾 一.下載 1.官方鏈接下載： https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe，運行開始下載SQL server； 二. ...
  • .NET 開源高性能 MQTT 類庫
    前言 隨著物聯網（IoT）技術的迅猛發展，MQTT（消息隊列遙測傳輸）協議憑藉其輕量級和高效性，已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫，為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog文檔翻譯系列（六） - 可用的接收器、增強器、格式化輸出
    Serilog支持多種接收器用於日誌存儲，增強器用於添加屬性，LogContext管理動態屬性，支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項，適用於不同需求。 ...
  • 警惕 Visual Studio 屬性求值副作用導致邏輯不符合預期
    目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據，爬取信息時需要模擬瀏覽器行為，否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下： 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • [使用目前最新版]HybridCLR6.9.0+YooAsset2.2.4實現純C# Unity熱更新方案 (一)
    1.前言 什麼是熱更新 游戲或者軟體更新時，無需重新下載客戶端進行安裝，而是在應用程式啟動的情況下，在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR，Xlua，ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles，Addressable， ...
  • 在 ASP.NET Core Web API 中使用操作篩選器統一處理通用操作
    本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺，其實像阿裡雲，騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後，它會送 ...
  • 第28篇 如何.net中實現高效可靠數據同步api
    通過以下方式可以高效，並保證數據同步的可靠性 1.API設計 使用RESTful設計，確保API端點明確，並使用適當的HTTP方法（如POST用於創建，PUT用於更新）。 設計清晰的請求和響應模型，以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證，確保接收到的數據符合預期格 ...
所有分類