sersync實現數據實時同步_ZenDei技術網路在線

1.1 第一個裡程碑：安裝sersync軟體 1.1.1 將軟體上傳到伺服器當中並解壓 1、上傳軟體到伺服器上 rz -E 為了便於管理上傳位置統一設置為 /server/tools 中 2、解壓軟體包 [root@backup sersync_installdir_64bit]# tree . └ ...

1.1 第一個裡程碑：安裝sersync軟體

1.1.1 將軟體上傳到伺服器當中並解壓

1、上傳軟體到伺服器上 rz -E

為了便於管理上傳位置統一設置為 /server/tools 中

2、解壓軟體包

[root@backup sersync_installdir_64bit]# tree

└── sersync

├── bin

│ └── sersync

├── conf

│ └── confxml.xml

└── logs

1.1.2 二進位包安裝方法

二進位包安裝軟體方法（綠色軟體安裝方法）：

直接解壓就可以使用

[root@nfs01 sersync_installdir_64bit]# mv sersync/ /usr/local/

[root@nfs01 tools]# tree /usr/local/sersync/

/usr/local/sersync/

├── bin

│ └── sersync

├── conf

│ └── confxml.xml

└── logs

3 directories, 2 files

1.2 第二個裡程碑：編寫sersync配置文件

1.2.1 常見的語法格式

rsync 配置文件編寫：ini語法

sersync配置文件編寫：xml語法

ansible配置文件編寫:yml 語法

1.2.2 修改配置文件

編寫前備份

[root@backup conf]# ll

total 4

-rw-r--r-- 1 root root 2214 Oct 26 2011 confxml.xml

[root@backup conf]# cp confxml.xml{,.bak}

6-11行表示排除同步的數據，等價於 --exclude 功能，表示排除

6     <filter start="false">
7         <exclude expression="(.*)\.svn"></exclude>
8         <exclude expression="(.*)\.gz"></exclude>
9         <exclude expression="^info/*"></exclude>
10         <exclude expression="^static/*"></exclude>
11     </filter>

12-21行是利用inotify的功能監控指定的事件，等價與 -e create，delete…… 表示指定監控事件信息

12     <inotify>
13         <delete start="true"/>
14         <createFolder start="true"/>
15         <createFile start="false"/>
16         <closeWrite start="true"/>
17         <moveFrom start="true"/>
18         <moveTo start="true"/>
19         <attrib start="false"/>
20         <modify start="false"/>
21     </inotify>

24-28行：推送到哪裡 name=模塊是rsync伺服器的地址

24         <localpath watch="/data"> #監控那個目錄
25             <remote ip="172.16.1.41" name="backup"/>
26             
27             
28         </localpath>

29-35行定義rsync推送時的參數信息。

註意：不要有單詞拼寫錯誤 （true），否則程式不能正常啟動，卡死

29         <rsync>
30             <commonParams params="-az"/>
31             <auth start="true" users="rsync_backup" passwordfile="/etc/rsync.password"/>
32             <userDefinedPort start="false" port="874"/>
33             <timeout start="false" time="100"/>
34             <ssh start="false"/>
35         </rsync>

配置文件最終內容：

[root@nfs01 tools]# cat /usr/local/sersync/conf/confxml.xml

<?xml version="1.0" encoding="ISO-8859-1"?>

</filter>

</inotify>

</localpath>

<rsync>

</rsync>

</crontabfilter>

</crontab>

</sersync>

</filter>

</plugin>

</localpath>

</plugin>

</localpath>

</plugin>

</head>

1.3 第三里程碑：啟動sersync

1.3.1 修改文件的許可權（可執行）

首先讓程式讓文件有執行許可權

[root@nfs01 bin]# chmod a+x sersync

[root@nfs01 bin]# ll

total 1768

-rwxr-xr-x 1 root root 1810128 Oct 26 2011 sersync

1.3.2 查看軟體的幫助信息

[root@nfs01 bin]# ./sersync -h

set the system param

execute：echo 50000000 > /proc/sys/fs/inotify/max_user_watches

execute：echo 327679 > /proc/sys/fs/inotify/max_queued_events

parse the command param

_______________________________________________________

重要參數-d:啟用守護進程模式

重要參數-r:在監控前，將監控目錄與遠程主機用rsync命令推送一遍

參數-n: 指定開啟守護線程的數量，預設為10個

重要參數-o:指定配置文件，預設使用confxml.xml文件

參數-m:單獨啟用其他模塊，使用 -m refreshCDN 開啟刷新CDN模塊

參數-m:單獨啟用其他模塊，使用 -m socket 開啟socket模塊

參數-m:單獨啟用其他模塊，使用 -m http 開啟http模塊

不加-m參數，則預設執行同步程式

________________________________________________________________

1.3.3 在程式的bin目錄下啟動程式

./sersync -dro /usr/local/sersync/conf/confxml.xml

1.3.4 啟動方法二

將/usr/local/sersync/bin/程式的bin目錄添加到PATH中

export PATH=/usr/local/sbin:/usr/local/bin:/sbin:/bin:/usr/sbin:/usr/bin:/root/bin:/usr/local/sersync/bin/

然後sersync命令就能直接使用

[root@nfs01 scripts]# sersync -dro /usr/local/sersync/conf/confxml.xml

set the system param

execute：echo 50000000 > /proc/sys/fs/inotify/max_user_watches

execute：echo 327679 > /proc/sys/fs/inotify/max_queued_events

parse the command param

option: -d run as a daemon

option: -r rsync all the local files to the remote servers before the sersync work

option: -o config xml name： /usr/local/sersync/conf/confxml.xml

daemon thread num: 10

parse xml config file

host ip : localhost host port: 8008

daemon start，sersync run behind the console

use rsync password-file :

user is rsync_backup

passwordfile is /etc/rsync.password

config xml parse success

please set /etc/rsyncd.conf max connections=0 Manually

sersync working thread 12 = 1(primary thread) + 1(fail retry thread) + 10(daemon sub threads)

Max threads numbers is: 22 = 12(Thread pool nums) + 10(Sub threads)

please according your cpu ，use -n param to adjust the cpu rate

------------------------------------------

rsync the directory recursivly to the remote servers once

working please wait...

execute command: cd /data && rsync -az -R --delete ./ [email protected]::nfsbackup --password-file=/etc/rsync.password >/dev/null 2>&1

run the sersync:

watch path is: /data

1.4 Inotify與 sersync總結對比

1.4.1 Inotify實時併發：

結論：經過測試，每秒200文件併發，數據同步幾乎無延遲（小於1秒）

1.4.2 inotify 優點：

1）監控文件系統事件變化，通過同步工具實現實時數據同步。

1.4.3 inotify 缺點

1）併發如果大於200個文件（10-100k），同步就會有延遲

2）我們前面寫的腳本，每次都是全部推送一次，但確實是增量的。也可以只同步變化的文件，不變化的不理。

3）監控到事件後，調用rsync同步是單進程的，而sersync為多進程同步。既然有了inotify-tools，為什麼還要開發sersync？

1.4.4 serysync功能多：（inotify+rsync命令）

1）支持通過配置文件管理

2）真正的守護進程socket

3）可以對失敗文件定時重傳（定時任務功能）

4）第三方的HTTP介面（例如：更新cdn緩存）

5）預設多進程rsync同步

1.4.5 高併發數據實時同步方案小結：

1）inotify（sersync）+ rsync，是文件級別的。

2）drbd文件系統級別，文件系統級別，基於block塊同步，缺點：備節點數據不可用

3）第三方軟體的同步功能：mysql同步（主從複製），oracle，mongodb

4）程式雙寫，直接寫兩台伺服器。

5）利用產品業務邏輯解決（讀寫分離，備份讀不到，讀主）

sersync實現數據實時同步

1.1 第一個裡程碑：安裝sersync軟體

1.1.1 將軟體上傳到伺服器當中並解壓

1.1.2 二進位包安裝方法

1.2 第二個裡程碑：編寫sersync配置文件

1.2.1 常見的語法格式

1.2.2 修改配置文件

1.3 第三里程碑： 啟動sersync

1.3.1 修改文件的許可權（可執行）

1.3.2 查看軟體的幫助信息

1.3.3 在程式的bin目錄下啟動程式

1.3.4 啟動方法二

1.4 Inotify與 sersync總結對比

1.4.1 Inotify實時併發：

1.4.2 inotify 優點：

1.4.3 inotify 缺點

1.4.4 serysync功能多：（inotify+rsync命令）

1.4.5 高併發數據實時同步方案小結：

1.3 第三里程碑：啟動sersync