Sersync+Rsync實現觸髮式文件同步

来源:http://www.cnblogs.com/bugsbunny/archive/2017/09/15/7526962.html
-Advertisement-
Play Games

背景 通常我們在伺服器上使用rsync加上crontab來定時地完成一些同步、備份文件的任務。隨著業務和應用需求的不斷擴大、實時性要求越來越高。一般rsync是通過校驗所有文件後,進行差量同步,如果文件量十分龐大,那麼rsync進行校驗的過程也是十分耗時的。而且正在發生變化的往往是其中很少的一部分, ...


背景

  通常我們在伺服器上使用rsync加上crontab來定時地完成一些同步、備份文件的任務。隨著業務和應用需求的不斷擴大、實時性要求越來越高。一般rsync是通過校驗所有文件後,進行差量同步,如果文件量十分龐大,那麼rsync進行校驗的過程也是十分耗時的。而且正在發生變化的往往是其中很少的一部分,這是非常低效的方式。其次,rsync不能實時的去監測、同步數據,雖然它可以通過crontab方式進行觸 發同步,但是兩次觸發動作一定會有時間差,這樣就導致了服務端和客戶端數據可能出現不一致,無法在應用故障時完全的恢複數據。而Sersync+Rsync的組合能夠較好地解決這種問題。

Sersync介紹

1、sersync是使用c++編寫,而且對linux系統文 件系統產生的臨時文件和重覆的文件操作進行過濾(詳細見附錄,這個過濾腳本程式沒有實現),所以在結合rsync同步的時候,節省了運行時耗和網路資源。 因此更快。
2、sersync配置起來很簡單,其中bin目錄下已經有基本上靜態編譯的2進位文件,配合bin目錄下的xml配置文件直接使用即可。
3、另外本項目相比較其他腳本開源項目,使用多線程進行同步,尤其在同步較大文件時,能夠保證多個伺服器實時保持同步狀 態。
4、本項目有出錯處理機制,通過失敗隊列對出錯的文件重新同步,如果仍舊失敗,則每10個小時對同步失敗的文件重新同步。
5、本項目自帶crontab功能,只需在xml配置文件中開啟,即可按您的要求,隔一段時間整體同步一次。無需再額外配置crontab功能。
6、本項目socket與http插件擴展,滿足您二次開發的需要。

實戰過程

一、伺服器環境

服務端:172.16.57.26 centos6.7 rsync-server 接收文件
客戶端:172.16.57.25 centos6.7 sersync+rsync-client 發送文件

二、服務端安裝rsync-server

1、安裝rsync

# rpm -qa | grep rsync #查看rsync是否已經安裝,如果沒有安裝,yum install直接安裝即可

2、使用xinetd方式啟動rsync

# vim /etc/xinetd.d/rsync #修改disable = no,flags = IPv4

3、修改rsync配置文件

# mkdir /etc/rsyncd
# vim /etc/rsyncd/rsyncd.conf #修改配置文件如下

# GLOBAL OPTIONS
motd file=/etc/motd
port=873
pid file=/var/run/rsyncd.pid
lock file = /var/lock/rsyncd
log file=/var/log/rsyncd
transfer logging = yes
log format = [op]:%o [ip]:%a [module]:%m [path]:%P [file]:%f [size]:%l
syslog facility=daemon
max connections=100

[recv]
comment = "recv data from 57.25"
path = /opt/rsync_data/recv #這邊的目錄的宿主要改為apprun,在這裡同步過程中使用的是普通賬戶apprun
list = yes
use chroot = yes
uid = apprun
gid = apprun
read only = no
write only = no
exclude =
include =
auth users = rsync
secrets file = /etc/rsyncd/rsyncd.secrets
strict modes = yes
hosts allow = 172.16.57.25
hosts deny = *

# ln -s /etc/rsyncd/rsyncd.conf /etc/rsyncd.conf

4、建立用戶認證文件

# vim /etc/rsyncd/rsyncd.secrets
rsync:111111     #格式   用戶名:口令
#chmod 600 /etc/rsyncd/rsyncd.secrets #許可權設為600,否則啟動會報錯

5、啟動rsync

# /etc/init.d/xinetd start
# netstat -tpln | grep 873 #查看873埠是否已經在監聽了

三、客戶端安裝sersync+rsync-client

1、安裝rsync,和服務端一樣,沒有安裝的話yum install安裝
2、安裝sersync

# tar xzvf sersync2.5_64bit_binary_stable_final.tar.gz
# mv GNU-Linux-x86 /opt/programs/sersync #解壓並拷貝到安裝目錄

3、配置sersync

<?xml version="1.0" encoding="ISO-8859-1"?>
<head version="2.5">
    <host hostip="localhost" port="8008"></host>
    <debug start="false"/>
    <fileSystem xfs="false"/>
    <filter start="false">
    <exclude expression="(.*)\.svn"></exclude>
    <exclude expression="(.*)\.gz"></exclude>
    <exclude expression="^info/*"></exclude>
    <exclude expression="^static/*"></exclude>
    </filter>
    <inotify>
    <delete start="true"/>
    <createFolder start="true"/>
    <createFile start="true"/>
    <closeWrite start="true"/>
    <moveFrom start="true"/>
    <moveTo start="true"/>
    <attrib start="true"/>
    <modify start="true"/>
    </inotify>

    <sersync>
    <localpath watch="/opt/rsync_data/send"> #監控目錄,一旦本地目錄有文件變化,將同步到服務端
        <remote ip="172.16.57.26" name="recv"/>#服務端ip和同步模塊
    </localpath>
    <rsync>
        <commonParams params="-artuz"/> #rsync同步參數
        <auth start="true" users="rsync" passwordfile="/etc/rsync.pas"/> #服務端認證密碼
        <userDefinedPort start="false" port="873"/>
        <timeout start="false" time="100"/><!-- timeout=100 -->
        <ssh start="false"/>
    </rsync>
    <failLog path="/tmp/rsync_fail_log.sh" timeToExecute="60"/><!--default every 60mins execute once-->
    <crontab start="false" schedule="600"><!--600mins-->
        <crontabfilter start="false">
        <exclude expression="*.php"></exclude>
        <exclude expression="info/*"></exclude>
        </crontabfilter>
    </crontab>
    <plugin start="false" name="command"/>
    </sersync>
</head>

4、服務端密碼認證

# vim /etc/rsync.pas #在相應的目錄下配置身份驗證文件,裡面輸入服務端的密碼,並chmod 600
# chmod 600 /etc/rsync.pas

5、啟動sersync

# ./sersync2 -d -o confxml.xml

四、測試認證

在客戶端下監控目錄/opt/rsync_data/send下添加文件或者刪除,服務端的接受目錄都會實時地進行更新。

在此例中,伺服器iptables和selinux均處於關閉狀態。

note: 這種方法同步文件的時候,同步文件的數量如果很多,可能會有部分文件在同步過程中缺失。查閱相關資料後,找到瞭如下的解決方案。由於本例中,使用的是xinetd方式啟動的rsync服務,在xinetd的配置文件中,修改幾個參數如下:

# vim /etc/xinetd.conf
修改幾個參數:
 cps             = 500 30
 instances       = UNLIMITED
 per_source      = UNLIMITED

您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 以Deepin為例,只需一條命令即可: sudo apt-get install curl libcurl3 libcurl3-dev php5-curl ...
  • ubantu下用qemu搭建arm+linux運行環境 概述 模擬的單板為vexpress a9,內核為cortex a9;安裝完qemu可用以下命令查看支持的機器: 或`qemu system arm M help` 沒有支持ST公司的板子,有支持arm9,arm11,cortex m3,cort ...
  • python版本:3.5.2 操作系統:ubuntu 16.04 LTS 這個練習小程式還沒有寫完,差最關鍵的更新代碼和備份代碼!(待續) 註意:本程式在windows下還無法正常運行,特別是列印內容的顏色,還有目錄的路徑分隔符的問題待解決! ...
  • 一、AIDE AIDE全稱為(Adevanced Intrusion Detection Environment)是一個入侵檢測工具,主要用於檢查文件的完整性,審計系統中的工具是否被更改過。 AIDE會構造一個資料庫文件,當系統在穩定時將全部或指定的文件屬性以密文的形式保存至資料庫中。文件屬性包括: ...
  • 本次來說說Linux crontab定時任務來執行shell腳本文件,以及怎麼通過shell腳本來執行sql語句; 其實crontab跟spring quartz定時任務是差不多的意思,在我看來是完全一樣的; 像這種適合的場景,一般用於簡單的對數據進行操作,適合沒有複雜邏輯的操作,比如本次因為活動需 ...
  • 問題描述:我在上傳圖片的位置不在Tomcat伺服器下,用戶無法訪問 解決方案:配置Tomcat虛擬路徑使用戶可以訪問圖片 配置Tomcat 找到Host節點,在Host節點下加入如下代碼: 例子: <Context path="/test" docBase="/usr/img" debug="0" ...
  • 前段時間看到wklken分享的k vim "配置" ,試用了下真的爽到飛起。 不過唯一不爽的是有一些快捷鍵一直記不住,現在整理些常用的快捷鍵,以備查閱。 F2 set nu/nonu F5 set paste/nopaste ctrl+n 相對行號絕對行號變換,預設用相對行號 NERDTree 展開 ...
  • 小編在這兒給大家介紹幾款linux管理面板,希望感興趣的童鞋可以去嘗試下。個人覺得寶塔和appnode這兩個面板不僅從功能和樣式都還是做的比較好的,但是部分功能是收費的,但是webmin絕對是一款免費的軟體。 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...