曾多次想要在Linux下比較目錄a和目錄b中 文件列表 的差別,然後對目錄a比目錄b中多出的文件、少掉的文件分別做處理。但是,在網上搜索了多次也都沒找到能直接處理好的工具。 所以想了很多不少方法,自我感覺都不錯,而且網上似乎沒有這方面的文章,所以分享出來給大家。如果各位有更好的工具或者方法,盼請留下 ...
曾多次想要在Linux下比較目錄a和目錄b中文件列表的差別,然後對目錄a比目錄b中多出的文件、少掉的文件分別做處理。但是,在網上搜索了多次也都沒找到能直接處理好的工具。
所以想了很多不少方法,自我感覺都不錯,而且網上似乎沒有這方面的文章,所以分享出來給大家。如果各位有更好的工具或者方法,盼請留下說明(本文第2部分:圖形化的比較結果
搜集自網上,我也沒有在圖形化界面下操作的需要,所以沒有多做介紹)
以下是本文有些地方涉及到的目錄結構。
[root@node1 ~]# tree directory1 directory2
directory1
├── 1.png
├── 2.png
└── 3.png
directory2
├── 2.png
├── 3.png
└── 4.png
1.命令行輸出的結果
方法一:使用diff
diff -r directory1 directory2
但是diff會對每個文件中的每一行都做比較,所以文件較多或者文件較大的時候會非常慢。請謹慎使用。
方法二:使用diff結合tree
diff <(tree -Ci --noreport /mnt/f/自然馬) <(tree -Ci --noreport /mnt/i/自然馬)
< /mnt/f/自然馬
---
> /mnt/i/自然馬
87a88
> xyz.avi
488d488
< rsync.txt
534d533
< 542D0.mp4
說明:
- tree的
-C
選項是輸出顏色,如果只是看一下目錄的不同,可以使用該選項,但在結合其他命令使用的時候建議不要使用該選項,因為顏色也會轉換為對應的編碼而輸出;
-i
是不縮進,建議不要省略-i
,否則diff的結果很難看,也不好繼續後續的文件操作;
--noreport
是不輸出報告結果,建議不要省略該選項。
- 該方法效率很高。
方法三:find結合diff
find directory1 -printf "%P\n" | sort > file1
find directory2 -printf "%P\n" | sort | diff file1 -
2d1
< 1.png
4a4
> 4.png
說明:
<
代表的行是directory1中有而directory2沒有的文件,>
則相反,是directory2中有而directory1中沒有。
- 不要省略
-printf "%P\n"
,此處的%P表示find的結果中去掉首碼路徑,詳細內容man find
。例如,find /root/ -printf "%P\n"
的結果中將顯示/root/a/xyz.txt中去掉/root/後的結果:a/xyz.txt。 - 效率很高,輸出也簡潔。
如果不想使用-printf
,那麼先進入各目錄再find也行。
[root@node1 ~]# (cd /root/a;find . | sort >/tmp/file1)
[root@node1 ~]# (cd /root/b;find . | sort | diff /tmp/file1 -)
2d1
< ./1.png
4a4
> ./4.png
上面將命令放進括弧中執行是為了在子shell中切換目錄,不用影響當前所在目錄。
方法四:使用rsync
rsync -rvn --delete directory1/ directory2 | sed -n '2,/^$/{/^$/!p}'
deleting a/xyz.avi
rsync.txt
新建文件夾/542D0.mp4
其中deleting所在的行就是directory2中多出的文件。其他的都是directory中多出的文件。
如果想區分出不同的是目錄還是文件。可以加上"-i"選項。
rsync -rvn -i --delete directory1/ directory2 | sed -n '2,/^$/{/^$/!p}'
*deleting a/xyz.avi
>f+++++++++ rsync.txt
>f+++++++++ 新建文件夾/542D0.mp4
其中>f+++++++++
中的f代表的是文件,d代表的目錄。
上面的rsync比較目錄有幾點要說明:
- 一定不能缺少-n選項,它表示dry run,也就是試著進行rsync同步,但不會真的同步。
- 第一個目錄(directory1/)後一定不能缺少斜線,否則表示將directory1整個目錄同步到directory2目錄下。
- 其它選項,如"-r -v --delete"也都不能缺少,它們的意義想必都知道。
- sed的作用是過濾掉和文件不相關的內容。
- 以上rsync假定了比較的兩個目錄中只有普通文件和目錄,沒有軟鏈接、塊設備等特殊文件。如果有,請考慮加上對應的選項或者使用-a替代-r,否則結果中將出現skipping non-regular file的提示。但請註意,如果有軟鏈接,且加了對應選項(-l或-a或其他相關選項),則可能會出現
fileA-->fileB
的輸出。 - 效率很高,因為rsync的原因,篩選的可定製性也非常強。
2.圖形化的比較結果
方法一:使用vimdiff
vimdiff <(cd directory1; find . | sort) <(cd directory2; find . | sort)
# 或者
vimdiff <(find directory1 -printf "%P\n"| sort) <(find directory2 -printf "%P\n"| sort)
方法二:使用meld
meld是python寫的一個圖形化文件/目錄比較工具,所以必須先安裝圖形界面或設置好圖形界面接受協議。它的功能非常豐富,和win下的beyond compare有異曲同工之妙。
meld具體的使用方式就不介紹了。
3.將兩目錄中不同的文件篩選出來
個人建議使用命令行輸出的結果中的方法方法三和方法四,因為它們都能很好地保留目錄首碼。
以方法三為例:
find directory1 -printf "%P\n" | sort > file1
find directory2 -printf "%P\n" | sort | diff file1 -
以下是實驗所需目錄結構:
[root@node1 ~]# tree /root/a;tree /root/b
/root/a
├── 1.png
├── 2.png
└── 3.png
0 directories, 3 files
/root/b
├── 2.png
├── 3.png
├── 4.png
└── xen
└── scripts
└── block-drbd
首先比較這兩個目錄得到文件列表的差異。
find /root/a -printf "%P\n" | sort > /tmp/file1
find /root/b -printf "%P\n" | sort | diff /tmp/file1 - >diff.txt
然後從diff.txt中過濾出/root/a中多出的文件和/root/b中多出的文件。
# /root/a中多出的文件
awk '/</{printf("%s%s\n","/tmp/etc/",$2)}' diff.txt
/tmp/etc/1.png
# /root/b中多出的文件
awk '/>/{printf("%s%s\n","/tmp/etc/",$2)}' diff.txt
/tmp/etc/4.png
/tmp/etc/xen
/tmp/etc/xen/scripts
/tmp/etc/xen/scripts/block-drbd
需要註意的是,如果多了某個目錄,則這個目錄和其內所有文件都會列出來。如果要將多出的文件複製到其他地方,應當要註意這一點。
如果只想要比較出/root/a和/root/b下的文件和目錄的不同,不再遞歸到子目錄中比較。那麼可以在find上繼續加工一番:
find /root/a -maxdepth 1 -printf "%P\n" | sort > /tmp/file1
find /root/b -maxdepth 1 -printf "%P\n" | sort | diff /tmp/file1 - >diff.txt
# /root/a中多出的文件
awk '/</{printf("%s%s\n","/tmp/etc/",$2)}' diff.txt
/tmp/etc/1.png
# /root/b中多出的文件
awk '/>/{printf("%s%s\n","/tmp/etc/",$2)}' diff.txt
/tmp/etc/4.png
/tmp/etc/xen
這樣一來,/root/b中多出的文件就是4.png和xen,xen目錄中的文件不再列出。