linux運維、架構之路-rsync

来源:http://www.cnblogs.com/yanxinjiang/archive/2017/08/10/Demon.html
-Advertisement-
Play Games

1 、rsync介紹 rsync是實現全量及增量的本地或遠程數據鏡像同步備份的工具 rsync常用命令參數 2、rsync特性 ①支持拷貝特殊文件如軟鏈接,設備等 ②排除指定文件或目錄同步的功能,相當於打包命令tar排除功能 ③ 保持原文件或目錄的許可權、時間、硬鏈接、屬主、組等屬性不改變 ④實現增量 ...


1 、rsync介紹

rsync是實現全量及增量的本地或遠程數據鏡像同步備份的工具

 

rsync常用命令參數

命令參數                    參數說明
-a (--archive)            歸檔模式,表示以遞歸方式傳輸文件,並保持所有文件屬性,等於rtopgDl
-v (--verbose)            顯示輸出過程,傳輸時的進度等信息
-z (--compress)            傳輸時進行壓縮以提高傳輸效率
--exclude=/etc/hosts    指定排除不需要傳輸的文件信息(和tar參數一樣)
--exclude-from=file    文件名所在的目錄文件,可以實現排除多個文件(和
                                tar參數一樣)
--bwlimit=PATE            limit I/O bandwidth;KBytes per second
                                limit socket I/O bandwidth限速功能
--delete                    讓目標目錄和源目錄數據一致,無差異同步數據

 

2、rsync特性

①支持拷貝特殊文件如軟鏈接,設備等

②排除指定文件或目錄同步的功能,相當於打包命令tar排除功能

③ 保持原文件或目錄的許可權、時間、硬鏈接、屬主、組等屬性不改變

④實現增量同步,只同步發生變化的數據,傳輸效率高

⑤可以使用rcp,rsh,ssh等方式來配合傳輸文件

⑥可以通過socket(進程方式)傳輸文件和數據

⑦支持匿名的認證進程模式傳輸,實現方便安全數據備份

3、rsync應用工作場景

①利用定時任務+rsync實現定時同步數據,主要同步的數據信息是網站內部人員使用的

②利用實時同步軟體+rsync實現實時同步數據,主要同步的數據信息是網站用戶上傳的數據信息

4、rsync數據傳輸方式

①主機本地之間的數據傳輸(此時類似於cp命令的功能)

② 藉助rcp,ssh等通道來傳輸數據(此時類似於scp命令的功能)

③以守護進程(socket)的方式傳輸數據(這個是rsync自身的重要的功能),重點掌握

5、rsync守護進程——服務端配置

1、查看系統是否安裝rsync軟體

rpm -qa rsync
rsync-3.0.6-12.el6.x86_64

2、rsync多模塊主配置文件

cat >/etc/rsyncd.conf<<EOF
#rsync server#
#created by yanxinjiang 2017-8-1
##rsyncd.conf start##
uid = rsync
gid = rsync
use chroot = no
max connections = 200
timeout = 300
pid file = /var/run/rsyncd.pid
lock file = /var/run/rsync.lock
log file = /var/log/rsyncd.log
ignore errors
read only = false
list = false
hosts allow = 172.16.1.0/24
hosts deny = 0.0.0.0/32
auth users = rsync_backup
secrets file = /etc/rsync.password
[backup]
path = /backup
[nfsbackup]
path = /nfsbackup
EOF

3、創建備份目錄及授權管理用戶

mkdir /backup -p
chown -R rsync.rsync /backup/
useradd rsync -s /sbin/nologin -M

4、創建rsync服務端與客戶端身份認證文件

echo "rsync_backup:123456" >/etc/rsync.password
chmod 600 /etc/rsync.password

5、啟動rsync服務

[root@backup ~]# rsync --daemon
[root@backup ~]# lsof -i:873
COMMAND   PID USER   FD   TYPE  DEVICE SIZE/OFF NODE NAME
rsync   31209 root    3u  IPv4 7505812      0t0  TCP *:rsync (LISTEN)
rsync   31209 root    5u  IPv6 7505813      0t0  TCP *:rsync (LISTEN)

6、rsync守護進程——客戶端配置

1、創建客戶端身份認證文件並授權

[root@nfs01 ~]# echo "123456" >/etc/rsync.password
[root@nfs01 ~]# chmod 600 /etc/rsync.password

2、客戶端測試rsync服務

[root@nfs01 ~]# rsync -avz /etc/hosts rsync_backup@172.16.1.41::backup --password-file=/etc/rsync.password
sending incremental file list
sent 26 bytes  received 8 bytes  3.24 bytes/sec
total size is 314  speedup is 9.24

3、rsync無差異數據同步

客戶端推送
[root@nfs01 data]# ls /data/ a b c d e f g pull.txt [root@nfs01 data]# rsync -avz /data --delete rsync_backup@172.16.1.41::backup --password-file=/etc/rsync.password sending incremental file list data/ data/a data/b data/c

  服務端檢查

[root@backup backup]# ls /backup/data/

a  b  c  d  e  f  g  pull.txt

3、客戶端推送遇到的問題

錯誤1
[root@nfs01 ~]# rsync -avz /etc/hosts rsync_backup@172.16.1.41::backup
Password: 
@ERROR: auth failed on module backup
rsync error: error starting client-server protocol (code 5) at main.c(1503) [sender=3.0.6]

錯誤2
[root@nfs01 tmp]# rsync -avz /etc/hosts rsync_backup@172.16.1.41::/backup
ERROR: The remote path must start with a module name not a /
rsync error: error starting client-server protocol (code 5) at main.c(1503) [sender=3.0.6]

錯誤3
[root@nfs01 tmp]# rsync -avz /etc/hosts rsync_backup@172.16.1.41::backup
@ERROR: Unknown module 'backup'
rsync error: error starting client-server protocol (code 5) at main.c(1503) [sender=3.0.6]
錯誤4
[root@nfs01 tmp]# rsync -avz /etc/hosts rsync_backup@172.16.1.41::backup
Password: 
sending incremental file list
hosts
rsync: mkstemp ".hosts.5z3AOA" (in backup) failed: Permission denied (13)

4、錯誤總結

①密碼輸入錯誤,虛擬用戶名錯誤

②secrets file = /etc/rsync.password指定的密碼文件和實際密碼文件名稱不一致

③/etc/rsync.password文件許可權不是600

④rsync_backup:123456密碼配置文件後面註意不要有空格

⑤rsync客戶端密碼文件中只輸入密碼信息即可,不要輸入虛擬認證用戶名稱

⑥推送時雙冒號後面為模塊名backup,而不是路徑/backup

⑦telnet連接rsync服務ip地址873埠,查看服務是否啟動 telnet 172.16.1.41 873

⑧共用目錄的屬主和屬組不正確,不是rsync;共用目錄的許可權不正確,不是755

7、rsync客戶端訪問服務端原理

 

 


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • kickstart自動應答文件選項非常多,以下只說明CentOS 6下幾個常用的可能用到的選項。另外,CentOS 6和CentOS 7的選項有不小區別,所以請註意使用,可以查看官方安裝文檔。 CentOS6的Installation嚮導 CentOS7的Installation嚮導 以下是Cent ...
  • 最重要的一點:在你重裝系統之前,一定要先備份Windows密鑰,不然重裝系統後就查詢不了原來的密鑰,從而無法免費激活。 1.查詢系統密鑰(註冊表中查詢) 打開 “運行”(快捷鍵 win + R) 打開 註冊表編輯器 依次定位到文件夾 HKEY_LOCAL_MACHINE/SOFTWARE/Micro ...
  • 問題背景: 裝了Ubuntu+win10雙系統,在Ubuntu下麵掛載了Windows的D盤。後來因為D空間不夠,進入Windows壓縮C盤分區,擴大了D盤。重啟後無法啟動Ubuntu,進入了emergency mode,提示 /dev/sda5:clean,325676/9117696 files ...
  • 當設置粘著位時只有root或者owner才能刪除、重命名文件。 示例: 用戶apple預設組為fruit。 [root@titan ~]# id apple uid=1001(apple) gid=1001(fruit) 組=1001(fruit) step1 顯示water文件夾信息,文件夾當前未 ...
  • 1.安裝 sudo apt-get install python-virtualenv 2.使用 創建虛擬環境: virtualenv [虛擬環境名稱] 例如: virtualenv python27 激活使用虛擬環境: source ~/workplace/python27/bin/activat ...
  • centos7安裝過程中如果沒有創建用戶的話,預設只有ROOT用戶,這個用戶是具有最高許可權的帳戶,可以做任何事情,但實際生產環境中我們一般不會使用這個用戶,因為許可權太大了,很危險。 所以在生產環境中就要創建一個或多個用戶帳戶,分配合適的許可權來使用,用過windows的都知道,windows也是多用戶 ...
  • 1、背景 1) 一個作為伺服器端:VM3(IP: 3.9.8.151) 2) 一個作為客戶端:VM2(IP: 3.9.8.157) 3) 伺服器端和客戶端網路能夠互相ping通 4) 伺服器端和客戶端都已安裝 rsync 要求:將VM3的/root/backup/目錄下的所有文件 複製到 VM2 的 ...
  • while迴圈 語法1: while [ 條件 ] do 命令序列 done 語法2: while read -r line do 命令序列 done (切記while和左中括弧一定要有空格) 例子 if判斷語句 語法1: if 條件 then 命令序列 fi 語法2: if 條件 then 條件序 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...