ASan介紹 ASan全稱AddressSanitizer,是一種記憶體錯誤檢測工具,目的是幫助開發者檢測和調試記憶體相關的問題,如使用未分配的記憶體、使用已釋放的記憶體、堆記憶體溢出等。ASan是由Google開發的,廣泛用於C、C++等語言的代碼中。 ASan的工作原理是在編譯時將額外的代碼插入到目標程式 ...
常用命令--複製-備份--cp--mv--scp--rsync
cp
cp命令用來將一個或多個源文件或者目錄複製到指定的目的文件或目錄。它可以將單個源文件複製成一個指定文件名的具體的文件或一個已經存在的目錄下。cp命令還支持同時複製多個文件,當一次複製多個文件時,目標文件參數必須是一個已經存在的目錄,否則將出現錯誤。
語法
cp(選項)(參數)
選項
-a:此參數的效果和同時指定"-dpR"參數相同;
-d:當複製符號連接時,把目標文件或目錄也建立為符號連接,並指向與源文件或目錄連接的原始文件或目錄;
-f:強行複製文件或目錄,不論目標文件或目錄是否已存在;
-i:覆蓋既有文件之前先詢問用戶;
-l:對源文件建立硬連接,而非複製文件;
-p:保留源文件或目錄的屬性;
-R/r:遞歸處理,將指定目錄下的所有文件與子目錄一併處理;
-s:對源文件建立符號連接,而非複製文件;
-u:使用這項參數後只會在源文件的更改時間較目標文件更新時或是名稱相互對應的目標文件並不存在時,才複製文件;
-S:在備份文件時,用指定的尾碼“SUFFIX”代替文件的預設尾碼;
-b:覆蓋已存在的文件目標前將目標文件備份;
-v:詳細顯示命令執行的操作。
參數
源文件:制定源文件列表。預設情況下,cp命令不能複製目錄,如果要複製目錄,則必須使用-R選項;
目標文件:指定目標文件。當“源文件”為多個文件時,要求“目標文件”為指定的目錄。
實例
如果把一個文件複製到一個目標文件中,而目標文件已經存在,那麼,該目標文件的內容將被破壞。此命令中所有參數既可以是絕對路徑名,也可以是相對路徑名。通常會用到點.或點點..的形式。例如,下麵的命令將指定文件複製到當前目錄下:
cp ../mary/homework/assign .
所有目標文件指定的目錄必須是己經存在的,cp命令不能創建目錄。如果沒有文件複製的許可權,則系統會顯示出錯信息。
將文件file複製到目錄/usr/men/tmp下,並改名為file1
cp file /usr/men/tmp/file1
將目錄/usr/men下的所有文件及其子目錄複製到目錄/usr/zh中
cp -r /usr/men /usr/zh
互動式地將目錄/usr/men中的以m打頭的所有.c文件複製到目錄/usr/zh中
cp -i /usr/men m*.c /usr/zh
我們在Linux下使用cp命令複製文件時候,有時候會需要覆蓋一些同名文件,覆蓋文件的時候都會有提示:需要不停的按Y來確定執行覆蓋。文件數量不多還好,但是要是幾百個估計按Y都要吐血了,於是折騰來半天總結了一個方法:
cp aaa/* /bbb
複製目錄aaa下所有到/bbb目錄下,這時如果/bbb目錄下有和aaa同名的文件,需要按Y來確認並且會略過aaa目錄下的子目錄。
cp -r aaa/* /bbb
這次依然需要按Y來確認操作,但是沒有忽略子目錄。
cp -r -a aaa/* /bbb
依然需要按Y來確認操作,並且把aaa目錄以及子目錄和文件屬性也傳遞到了/bbb。
\cp -r -a aaa/* /bbb
成功,沒有提示按Y、傳遞了目錄屬性、沒有略過目錄。
mv
mv命令用來對文件或目錄重新命名,或者將文件從一個目錄移到另一個目錄中。source表示源文件或目錄,target表示目標文件或目錄。如果將一個文件移到一個已經存在的目標文件中,則目標文件的內容將被覆蓋。
mv命令可以用來將源文件移至一個目標文件中,或將一組文件移至一個目標目錄中。源文件被移至目標文件有兩種不同的結果:
如果目標文件是到某一目錄文件的路徑,源文件會被移到此目錄下,且文件名不變。
如果目標文件不是目錄文件,則源文件名(只能有一個)會變為此目標文件名,並覆蓋己存在的同名文件。如果源文件和目標文件在同一個目錄下,mv的作用就是改文件名。當目標文件是目錄文件時,源文件或目錄參數可以有多個,則所有的源文件都會被移至目標文件中。所有移到該目錄下的文件都將保留以前的文件名。
註意事項:mv與cp的結果不同,mv好像文件“搬家”,文件個數並未增加。而cp對文件進行複製,文件個數增加了。
語法
mv(選項)(參數)
選項
--backup=<備份模式>:若需覆蓋文件,則覆蓋前先行備份;
-b:當文件存在時,覆蓋前,為其創建一個備份;
-f:若目標文件或目錄與現有的文件或目錄重覆,則直接覆蓋現有的文件或目錄;
-i:互動式操作,覆蓋前先行詢問用戶,如果源文件與目標文件或目標目錄中的文件同名,則詢問用戶是否覆蓋目標文件。用戶輸入”y”,表示將覆蓋目標文件;輸入”n”,表示取消對源文件的移動。這樣可以避免誤將文件覆蓋。
--strip-trailing-slashes:刪除源文件中的斜杠“/”;
-S<尾碼>:為備份文件指定尾碼,而不使用預設的尾碼;
--target-directory=<目錄>:指定源文件要移動到目標目錄;
-u:當源文件比目標文件新或者目標文件不存在時,才執行移動操作。
參數
源文件:源文件列表。
目標文件:如果“目標文件”是文件名則在移動文件的同時,將其改名為“目標文件”;如果“目標文件”是目錄名則將源文件移動到“目標文件”下。
實例
將文件ex3改名為new1
mv ex3 new1
將目錄/usr/men中的所有文件移到當前目錄(用.表示)中:
mv /usr/men/* .
scp
scp命令用於在Linux下進行遠程拷貝文件的命令,和它類似的命令有cp,不過cp只是在本機進行拷貝不能跨伺服器,而且scp傳輸是加密的。可能會稍微影響一下速度。當你伺服器硬碟變為只讀read only system時,用scp可以幫你把文件移出來。另外,scp還非常不占資源,不會提高多少系統負荷,在這一點上,rsync就遠遠不及它了。雖然 rsync比scp會快一點,但當小文件眾多的情況下,rsync會導致硬碟I/O非常高,而scp基本不影響系統正常使用。
語法
scp(選項)(參數)
選項
-1:使用ssh協議版本1;
-2:使用ssh協議版本2;
-4:使用ipv4;
-6:使用ipv6;
-B:以批處理模式運行;
-C:使用壓縮;
-F:指定ssh配置文件;
-l:指定寬頻限制;
-o:指定使用的ssh選項;
-P:指定遠程主機的埠號;
-p:保留文件的最後修改時間,最後訪問時間和許可權模式;
-q:不顯示覆制進度;
-r:以遞歸方式複製。
參數
源文件:指定要複製的源文件。
目標文件:目標文件。格式為user@host:filename(文件名為目標文件的名稱)。
實例
從遠程複製到本地的scp命令與上面的命令雷同,只要將從本地複製到遠程的命令後面2個參數互換順序就行了。
從遠處複製文件到本地目錄
scp [email protected]:/opt/soft/nginx-0.5.38.tar.gz /opt/soft/
從10.10.10.10機器上的/opt/soft/的目錄中下載nginx-0.5.38.tar.gz 文件到本地/opt/soft/目錄中。
從遠處複製到本地
scp -r [email protected]:/opt/soft/mongodb /opt/soft/
從10.10.10.10機器上的/opt/soft/中下載mongodb目錄到本地的/opt/soft/目錄來。
上傳本地文件到遠程機器指定目錄
scp /opt/soft/nginx-0.5.38.tar.gz [email protected]:/opt/soft/scptest
複製本地/opt/soft/目錄下的文件nginx-0.5.38.tar.gz到遠程機器10.10.10.10的opt/soft/scptest目錄。
上傳本地目錄到遠程機器指定目錄
scp -r /opt/soft/mongodb [email protected]:/opt/soft/scptest
上傳本地目錄/opt/soft/mongodb到遠程機器10.10.10.10上/opt/soft/scptest的目錄中去。
rsync
rsync命令是一個遠程數據同步工具,可通過LAN/WAN快速同步多台主機間的文件。rsync使用所謂的“rsync演算法”來使本地和遠程兩個主機之間的文件達到同步,這個演算法只傳送兩個文件的不同部分,而不是每次都整份傳送,因此速度相當快。 rsync是一個功能非常強大的工具,其命令也有很多功能特色選項,我們下麵就對它的選項一一進行分析說明。
語法
rsync [OPTION]... SRC DEST
rsync [OPTION]... SRC [USER@]host:DEST
rsync [OPTION]... [USER@]HOST:SRC DEST
rsync [OPTION]... [USER@]HOST::SRC DEST
rsync [OPTION]... SRC [USER@]HOST::DEST
rsync [OPTION]... rsync://[USER@]HOST[:PORT]/SRC [DEST]
對應於以上六種命令格式,rsync有六種不同的工作模式:
拷貝本地文件。當SRC和DES路徑信息都不包含有單個冒號":"分隔符時就啟動這種工作模式。如:rsync -a /data /backup
使用一個遠程shell程式(如rsh、ssh)來實現將本地機器的內容拷貝到遠程機器。當DST路徑地址包含單個冒號":"分隔符時啟動該模式。如:rsync -avz *.c foo:src
使用一個遠程shell程式(如rsh、ssh)來實現將遠程機器的內容拷貝到本地機器。當SRC地址路徑包含單個冒號":"分隔符時啟動該模式。如:rsync -avz foo:src/bar /data
從遠程rsync伺服器中拷貝文件到本地機。當SRC路徑信息包含"::"分隔符時啟動該模式。如:rsync -av [email protected]::www /databack
從本地機器拷貝文件到遠程rsync伺服器中。當DST路徑信息包含"::"分隔符時啟動該模式。如:rsync -av /databack [email protected]::www
列遠程機的文件列表。這類似於rsync傳輸,不過只要在命令中省略掉本地機信息即可。如:rsync -v rsync://192.168.78.192/www
選項
-v, --verbose 詳細模式輸出。
-q, --quiet 精簡輸出模式。
-c, --checksum 打開校驗開關,強制對文件傳輸進行校驗。
-a, --archive 歸檔模式,表示以遞歸方式傳輸文件,並保持所有文件屬性,等於-rlptgoD。
-r, --recursive 對子目錄以遞歸模式處理。
-R, --relative 使用相對路徑信息。
-b, --backup 創建備份,也就是對於目的已經存在有同樣的文件名時,將老的文件重新命名為~filename。可以使用--suffix選項來指定不同的備份文件首碼。
--backup-dir 將備份文件(如~filename)存放在在目錄下。
-suffix=SUFFIX 定義備份文件首碼。
-u, --update 僅僅進行更新,也就是跳過所有已經存在於DST,並且文件時間晚於要備份的文件,不覆蓋更新的文件。
-l, --links 保留軟鏈結。
-L, --copy-links 想對待常規文件一樣處理軟鏈結。
--copy-unsafe-links 僅僅拷貝指向SRC路徑目錄樹以外的鏈結。
--safe-links 忽略指向SRC路徑目錄樹以外的鏈結。
-H, --hard-links 保留硬鏈結。
-p, --perms 保持文件許可權。
-o, --owner 保持文件屬主信息。
-g, --group 保持文件屬組信息。
-D, --devices 保持設備文件信息。
-t, --times 保持文件時間信息。
-S, --sparse 對稀疏文件進行特殊處理以節省DST的空間。
-n, --dry-run現實哪些文件將被傳輸。
-w, --whole-file 拷貝文件,不進行增量檢測。
-x, --one-file-system 不要跨越文件系統邊界。
-B, --block-size=SIZE 檢驗演算法使用的塊尺寸,預設是700位元組。
-e, --rsh=command 指定使用rsh、ssh方式進行數據同步。
--rsync-path=PATH 指定遠程伺服器上的rsync命令所在路徑信息。
-C, --cvs-exclude 使用和CVS一樣的方法自動忽略文件,用來排除那些不希望傳輸的文件。
--existing 僅僅更新那些已經存在於DST的文件,而不備份那些新創建的文件。
--delete 刪除那些DST中SRC沒有的文件。
--delete-excluded 同樣刪除接收端那些被該選項指定排除的文件。
--delete-after 傳輸結束以後再刪除。
--ignore-errors 及時出現IO錯誤也進行刪除。
--max-delete=NUM 最多刪除NUM個文件。
--partial 保留那些因故沒有完全傳輸的文件,以是加快隨後的再次傳輸。
--force 強制刪除目錄,即使不為空。
--numeric-ids 不將數字的用戶和組id匹配為用戶名和組名。
--timeout=time ip超時時間,單位為秒。
-I, --ignore-times 不跳過那些有同樣的時間和長度的文件。
--size-only 當決定是否要備份文件時,僅僅察看文件大小而不考慮文件時間。
--modify-window=NUM 決定文件是否時間相同時使用的時間戳視窗,預設為0。
-T --temp-dir=DIR 在DIR中創建臨時文件。
--compare-dest=DIR 同樣比較DIR中的文件來決定是否需要備份。
-P 等同於 --partial。
--progress 顯示備份過程。
-z, --compress 對備份的文件在傳輸時進行壓縮處理。
--exclude=PATTERN 指定排除不需要傳輸的文件模式。
--include=PATTERN 指定不排除而需要傳輸的文件模式。
--exclude-from=FILE 排除FILE中指定模式的文件。
--include-from=FILE 不排除FILE指定模式匹配的文件。
--version 列印版本信息。
--address 綁定到特定的地址。
--config=FILE 指定其他的配置文件,不使用預設的rsyncd.conf文件。
--port=PORT 指定其他的rsync服務埠。
--blocking-io 對遠程shell使用阻塞IO。
-stats 給出某些文件的傳輸狀態。
--progress 在傳輸時現實傳輸過程。
--log-format=formAT 指定日誌文件格式。
--password-file=FILE 從FILE中得到密碼。
--bwlimit=KBPS 限制I/O帶寬,KBytes per second。
-h, --help 顯示幫助信息。
實例
SSH方式
首先在服務端啟動ssh服務:
service sshd start
啟動 sshd: [確定]
使用rsync進行同步
接下來就可以在客戶端使用rsync命令來備份服務端上的數據了,SSH方式是通過系統用戶來進行備份的,如下:
rsync -vzrtopg --progress -e ssh --delete [email protected]:/www/* /databack/experiment/rsync
[email protected]'s password:
receiving file list ...
5 files to consider
test/
a
0 100% 0.00kB/s 527:35:41 (1, 20.0% of 5)
b
67 100% 65.43kB/s 0:00:00 (2, 40.0% of 5)
c
0 100% 0.00kB/s 527:35:41 (3, 60.0% of 5)
dd
100663296 100% 42.22MB/s 0:00:02 (4, 80.0% of 5)
sent 96 bytes received 98190 bytes 11563.06 bytes/sec
total size is 100663363 speedup is 1024.19
上面的信息描述了整個的備份過程,以及總共備份數據的大小。
後臺服務方式
啟動rsync服務,編輯/etc/xinetd.d/rsync文件,將其中的disable=yes改為disable=no,並重啟xinetd服務,如下:
vi /etc/xinetd.d/rsync
#default: off
# description: The rsync server is a good addition to an ftp server, as it \
# allows crc checksumming etc.
service rsync {
disable = no
socket_type = stream
wait = no
user = root
server = /usr/bin/rsync
server_args = --daemon
log_on_failure += USERID
}
/etc/init.d/xinetd restart
停止 xinetd: [確定]
啟動 xinetd: [確定]
創建配置文件,預設安裝好rsync程式後,並不會自動創建rsync的主配置文件,需要手工來創建,其主配置文件為“/etc/rsyncd.conf”,創建該文件並插入如下內容:
vi /etc/rsyncd.conf
uid=root
gid=root
max connections=4
log file=/var/log/rsyncd.log
pid file=/var/run/rsyncd.pid
lock file=/var/run/rsyncd.lock
secrets file=/etc/rsyncd.passwd
hosts deny=172.16.78.0/22
[www]
comment= backup web
path=/www
read only = no
exclude=test
auth users=work
創建密碼文件,採用這種方式不能使用系統用戶對客戶端進行認證,所以需要創建一個密碼文件,其格式為“username:password”,用戶名可以和密碼可以隨便定義,最好不要和系統帳戶一致,同時要把創建的密碼文件許可權設置為600,這在前面的模塊參數做了詳細介紹。
echo "work:abc123" > /etc/rsyncd.passwd
chmod 600 /etc/rsyncd.passwd
備份,完成以上工作,現在就可以對數據進行備份了,如下:
rsync -avz --progress --delete [email protected]::www /databack/experiment/rsync
Password:
receiving file list ...
6 files to consider
./ files...
a
0 100% 0.00kB/s 528:20:41 (1, 50.0% of 6)
b
67 100% 65.43kB/s 0:00:00 (2, 66.7% of 6)
c
0 100% 0.00kB/s 528:20:41 (3, 83.3% of 6)
dd
100663296 100% 37.49MB/s 0:00:02 (4, 100.0% of 6)
sent 172 bytes received 98276 bytes 17899.64 bytes/sec
total size is 150995011 speedup is 1533.75
恢復,當伺服器的數據出現問題時,那麼這時就需要通過客戶端的數據對服務端進行恢復,但前提是服務端允許客戶端有寫入許可權,否則也不能在客戶端直接對服務端進行恢復,使用rsync對數據進行恢復的方法如下:
rsync -avz --progress /databack/experiment/rsync/ [email protected]::www
Password:
building file list ...
6 files to consider
./
a
b
67 100% 0.00kB/s 0:00:00 (2, 66.7% of 6)
c
sent 258 bytes received 76 bytes 95.43 bytes/sec
total size is 150995011 speedup is 452080.87