Linux三階段之四：實時同步（inotify+rsync,sersync+rsync）

来源:https://www.cnblogs.com/cuiyongchao007/archive/2020/05/01/12814374.html
-Advertisement-
Play Games

四、實時同步 （一）課程概念介紹 1. 為什麼要用實時同步服務 因為定時任務有缺陷，一分鐘以內的數據無法進行同步，容易造成數據丟失 2. 實時同步工作原理 a .創建要存儲數據的目錄 b .利用實時同步的軟體監控我們進行備份的數據目錄 c .利用rsync服務進行數據推送傳輸備份 （二）實時同步服務 ...


四、實時同步

（一）課程概念介紹

  1. 為什麼要用實時同步服務
    因為定時任務有缺陷，一分鐘以內的數據無法進行同步，容易造成數據丟失
  2. 實時同步工作原理
    a .創建要存儲數據的目錄
    b .利用實時同步的軟體監控我們進行備份的數據目錄
    c .利用rsync服務進行數據推送傳輸備份

（二）實時同步服務軟體部署

1.inotify+rsync實現實時同步備份

第一個裡程：將inotify軟體安裝成功

yum install -y inotify-tools

說明：操作系統的yum源文件中，是否存在epel源
wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-6.repo

[root@nfs01 ~]# rpm -ql inotify-tools
/usr/bin/inotifywait                <--- 實現對數據目錄信息變化監控（重點瞭解的命令）
/usr/bin/inotifywatch               <--- 監控數據信息變化，對變化的數據進行統計

[root@nfs01 ~]# cd /proc/sys/fs/inotify/
[root@nfs01 inotify]# ll
總用量 0
-rw-r--r-- 1 root root 0 2018-02-25 19:45 max_queued_events    
-rw-r--r-- 1 root root 0 2018-02-25 19:45 max_user_instances
-rw-r--r-- 1 root root 0 2018-02-25 19:45 max_user_watches
max_user_watches:	設置inotifywait或inotifywatch命令可以監視的文件數量（單進程）
預設只能監控8192個文件

max_user_instances:	設置每個用戶可以運行的inotifywait或inotifywatch命令的進程數
預設每個用戶可以開啟inotify服務128個進程

max_queued_events:	設置inotify實例事件（event）隊列可容納的事件數量
預設監控事件隊列長度為16384

第二個裡程：將rsync守護進程模式部署完畢

rsync服務端部署
a 檢查rsync軟體是否已經安裝
b 編寫rsync軟體主配置文件
c 創建備份目錄管理用戶
d 創建備份目錄，併進行授權
e 創建認證文件，編寫認證用戶和密碼信息，設置文件許可權為600
f 啟動rsync守護進程服務

rsync客戶端部署
a 檢查rsync軟體是否已經安裝	
b 創建認證文件，編寫認證用戶密碼信息即可，設置文件許可權為600
c 利用客戶端進行數據同步測試

第三個裡程：要讓inotify軟體和rsync軟體服務建立連接（shell腳本）

rsync軟體應用命令：
rsync -avz /etc/hosts [email protected]::backup --password-file=/etc/rsync.password

inotify軟體應用命令：
inotifywait 
-m|--monitor	         始終保持事件監聽狀態
-r                       進行遞歸監控
-q|--quiet               將無用的輸出信息，不進行顯示
--timefmt <fmt>          設定日期的格式
man strftime 獲取更多時間參數信息
--format <fmt>           命令執行過程中，輸出的信息格式

-e                       指定監控的事件信息
man inotifywait 查看所有參數說明和所有可以監控的事件信息

總結主要用到的事件信息：

create創建、delete刪除、moved_to移入、close_write修改

inotifywait -mrq --timefmt "%F" --format "%T %w%f 事件信息：%e" /data  <-- 相對完整的命令應用
inotifywait -mrq --timefmt "%F" --format "%T %w%f 事件信息：%e" -e create /data   <-- 指定監控什麼事件信息
%w:表示發生事件的目錄
%f:表示發生事件的文件
%e:表示發生的事件
%Xe:事件以“X”分隔
%T:使用由–timefmt定義的時間格式

inotifywait -mrq --format "%w%f" -e create,delete,moved_to,close_write  /data   
以上為實現實時同步過程，所需要的重要監控命令
編寫腳本：實現inotify與rsync軟體結合
#!/bin/bash
####################    
inotifywait -mrq --format "%w%f" -e create,delete,moved_to,close_write  /data|\
while read line
do
rsync -az --delete /data/ [email protected]::backup --password-file=/etc/rsync.password
done

shell迴圈語法總結：
for迴圈       for xx in 迴圈條件內容信息;do xxx;done
while迴圈     while 迴圈條件；do xx ；done    <-- 只要條件滿足，就一直迴圈
while true；do xx ；done         <-- 死迴圈

運維工作中編寫自動化腳本規範：
1. 先完成基本功能需求
2. 優化完善腳本內容
3. 寫上一些註釋說明信息
4. 進行反覆測試

第四個裡程：最終的測試

sh -x intofy.sh

2、sersync+rsync實現實時同步備份

第一個裡程：下載安裝sersync軟體

先進行軟體下載，把軟體包上傳到系統中
unzip sersync_installdir_64bit.zip
cd sersync_installdir_64bit
mv sersync /usr/local/
tree

第二個裡程：編寫sersync配置文件

[root@nfs01 sersync]# cd /usr/local/sersync/conf/
    [root@nfs01 conf]# ll
    總用量 4
    -rw-r--r-- 1 root root 2214 2011-10-26 11:54 confxml.xml
	
	6     <filter start="false">
    7         <exclude expression="(.*)\.svn"></exclude>
    8         <exclude expression="(.*)\.gz"></exclude>
    9         <exclude expression="^info/*"></exclude>
   10         <exclude expression="^static/*"></exclude>
   11     </filter>
   說明：實現同步數據過濾排除功能
   
    12     <inotify>
    13         <delete start="true"/>
    14         <createFolder start="true"/>
    15         <createFile start="false"/>
    16         <closeWrite start="true"/>
    17         <moveFrom start="true"/>
    18         <moveTo start="true"/>
    19         <attrib start="false"/>
    20         <modify start="false"/>
    21     </inotify>
	說明：類似於inotify的-e參數功能，指定監控的事件信息
	
    23     <sersync>
    24         <localpath watch="/data">
    25             <remote ip="172.16.1.41" name="backup"/>
    26             <!--<remote ip="192.168.8.39" name="tongbu"/>-->
    27             <!--<remote ip="192.168.8.40" name="tongbu"/>-->
    28         </localpath>
    29         <rsync>
    30             <commonParams params="-az"/>
    31             <auth start="true" users="rsync_backup" passwordfile="/etc/rsync.password"/>
    32             <userDefinedPort start="false" port="874"/><!-- port=874 -->
    33             <timeout start="false" time="100"/><!-- timeout=100 -->
    34             <ssh start="false"/>
    35         </rsync>
	 說明：以上內容是數據相關的配置信息，是必須進行修改調整配置

第三個裡程：應用sersync軟體，實現實時同步

[root@nfs01 conf]# cd /usr/local/sersync/
[root@nfs01 sersync]# cd bin/
[root@nfs01 bin]# ll
總用量 1768
-rw-r--r-- 1 root root 1810128 2011-10-26 14:19 sersync
sersync命令參數：
參數-d:              啟用守護進程模式
參數-r:              在監控前，將監控目錄與遠程主機用rsync命令推送一遍（測試）
參數-n:              指定開啟守護線程的數量，預設為10個
參數-o:              指定配置文件，預設使用confxml.xml文件

./sersync -dro /usr/local/sersync/conf/confxml.xml

（三）實時同步軟體概念介紹

inotify軟體
Inotify是一種強大的，細粒度的。非同步的文件系統事件監控機制，linux內核從2.6.13起，
加入了Inotify支持，通過Inotify可以監控文件系統中添加、刪除，修改、移動等各種事件，
利用這個內核介面，第三方軟體就可以監控文件系統下文件的各種變化情況，
而inotify-tools正是實施這樣監控的軟體	
軟體參考鏈接：https://github.com/rvoicilas/inotify-tools/wiki

sersync軟體
Sersync項目利用inotify與rsync技術實現對伺服器數據實時同步的解決方案，
其中inotify用於監控sersync所在伺服器上文件系統的事件變化，
rsync是目前廣泛使用的本地及異地數據同步工具，
其優點是只對變化的目錄數據操作，甚至是一個文件不同的部分進行同步，
所以其優勢大大超過使用掛接文件系統或scp等方式進行鏡像同步。
軟體參考鏈接：https://github.com/wsgzao/sersync

您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • .Net平臺GC VS JVM垃圾回收
    前言 不知道你平時是否關註程式記憶體使用情況，我是關註的比較少，正好藉著優化本地一個程式的空對比了一下.Net平臺垃圾回收和jvm垃圾回收，順便用dotMemory看了程式運行後的記憶體快照，生成記憶體快照後，媽媽再也不擔心我優化程式找不到方向了。 .Net平臺垃圾回收 記憶體優化 憑空想象這些概念多少會索 ...
  • [ASP.NET Core] Blazor server side資源索引 (長期更新)
    博客當筆記系列. 收錄各種資源 前言 總的來說, Blazor 是一個很新鮮的事物. 它的最大特點是極大地加速了UI的開發效率. 然而, 要活用Blazor的話, 比MVC要難一個等級, 畢竟MVC是輸出靜態HTML, 好理解. Blazor是生成更動態的界面. 這表示Blazor需要一個更長的學習 ...
  • 關於.NetCore與.Netframework 對於DataSet的序列化與反序列化問題的探討.
    最近完善自己的項目中,將很多原先的framework下的類庫都轉為.net standard類庫,服務自然也往.netCore上轉.因此,寫了一個WebApi做為服務來完善自己的類庫程式. 在我的程式體系中中有一部分的方式是要客戶端傳送Sql到服務端,服務端返回DataSet到客戶端進行處理,WCF ...
  • Asp.Net Core 3.1學習- 應用程式的啟動過程（5）
    前言 本文主要講的是Asp.Net Core的啟動過程，幫助大家掌握應用程式的關鍵配置點。 1、創建項目 1.1、用Visual Studio 2019 創建WebApi項目。 這裡面可以看到有兩個關鍵的類。 一個Program，一個stsrtup Program裡面有一個Main函數，Main函數 ...
  • Linux三階段之八：架構nginx實踐應用
    八、架構nginx實踐應用 （一）web服務軟體種類介紹 常用來提供靜態Web服務的軟體有如下三種： 常用來提供動態服務的軟體 （二）nginx軟體服務介紹 （三）nginx軟體特征介紹 （四）nginx軟體功能介紹 （五）nginx軟體模型特點說明 （六）nginx軟體編譯安裝 第一個裡程：軟體依 ...
  • Linux三階段之七：HTTP協議概念原理說明
    七、HTTP協議概念原理說明 （一）當用戶訪問一個網站時，都發生了事情？ （二）HTTP通訊原理說明 （三）HTTP協議資源說明 （四）網站度量值統計方法： ...
  • Linux三階段之六：ansible批量管理服務介紹
    六、ansible批量管理服務介紹 （一）批量管理服務知識介紹 （二）批量管理服務特征介紹 （三）ansible軟體安裝部署 1 .ansible軟體自動化環境架構規劃 2 ansible軟體自動化部署條件 a .ssh密鑰對創建（管理主機,建議基於ssh密鑰方式建立遠程連接） b .分發公鑰文件（ ...
  • Linux三階段之五：SSH遠程管理服務
    五、SSH遠程管理服務 （一）遠程管理服務知識介紹 1） SSH遠程登錄服務介紹說明 2） SSH遠程登錄服務功能作用 3） SSH遠程登錄服務排錯思路 （二）Telnet遠程登錄服務功能作用 1、SSH遠程登錄服務特點說明 01、SSH服務埠信息為22 02、SSH服務採用密文方式傳輸數據 03 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發（一）：使用.NET MAUI開發第一個安卓APP
    移動開發（一）：使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說，近來想嘗試開發一款安卓APP，考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP，畢竟是使用Visual Studio開發工具，使用起來也比較的順手，結合微軟官方的教程進行了安卓 ...
  • wpf ToggleButton選中效果和一個登錄界面
    前言 QuestPDF 是一個開源 .NET 庫，用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫，它徹底改變了我們生成 PDF 文檔的方 ...
  • 彈幕樹洞項目功能新增篇
    項目地址 項目後端地址： https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址： ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址： http://tree ...
  • 第27篇 sqlserver2022詳細安裝步驟
    話不多說，直接開乾 一.下載 1.官方鏈接下載： https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe，運行開始下載SQL server； 二. ...
  • .NET 開源高性能 MQTT 類庫
    前言 隨著物聯網（IoT）技術的迅猛發展，MQTT（消息隊列遙測傳輸）協議憑藉其輕量級和高效性，已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫，為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog文檔翻譯系列（六） - 可用的接收器、增強器、格式化輸出
    Serilog支持多種接收器用於日誌存儲，增強器用於添加屬性，LogContext管理動態屬性，支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項，適用於不同需求。 ...
  • 警惕 Visual Studio 屬性求值副作用導致邏輯不符合預期
    目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據，爬取信息時需要模擬瀏覽器行為，否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下： 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • [使用目前最新版]HybridCLR6.9.0+YooAsset2.2.4實現純C# Unity熱更新方案 (一)
    1.前言 什麼是熱更新 游戲或者軟體更新時，無需重新下載客戶端進行安裝，而是在應用程式啟動的情況下，在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR，Xlua，ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles，Addressable， ...
  • 在 ASP.NET Core Web API 中使用操作篩選器統一處理通用操作
    本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺，其實像阿裡雲，騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後，它會送 ...
  • 第28篇 如何.net中實現高效可靠數據同步api
    通過以下方式可以高效，並保證數據同步的可靠性 1.API設計 使用RESTful設計，確保API端點明確，並使用適當的HTTP方法（如POST用於創建，PUT用於更新）。 設計清晰的請求和響應模型，以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證，確保接收到的數據符合預期格 ...
所有分類