1.存儲與文件系統 存儲設備 存儲設備(常見的是磁碟/硬碟,固態硬碟) 文件系統 文件系統是操作系統用於存儲設備或分區上的文件的方法和數據結構 分散式文件系統 文件系統管理的物理存儲資源不一定直接連接在本地節點上,而是通過網路與節點相連 2.分散式文件系統 3.常見的分散式文件系統有: GFS: G ...
1.存儲與文件系統
存儲設備 存儲設備(常見的是磁碟/硬碟,固態硬碟)
文件系統 文件系統是操作系統用於存儲設備或分區上的文件的方法和數據結構
分散式文件系統 文件系統管理的物理存儲資源不一定直接連接在本地節點上,而是通過網路與節點相連
2.分散式文件系統
3.常見的分散式文件系統有:
GFS: Google基於Linux的專有分散式文件系統
HDFS: Hadoop 實現了一個分散式文件系統
Lustre:大規模的、安全可靠的,具備高可用性的集群文件系統 由SUN公司開發和維護的。
Ceph :性能最高,C++編寫的代碼,支持Fuse,並且沒有單點故障
GridFS :MongoDB是一種知名的NoSql資料庫,GridFS是 MongoDB的一個內置功能
mogileFS :由memcahed的開發公司danga一款perl開發的產品, 目前國內使用mogielFS的有圖片托管網站yupoo等。
TFS :淘寶的一個高可擴展、高可用、高性能、面向互聯網服務的分散式文件系統
官網 : http://code.taobao.org/p/tfs/wiki/index/
FastDFS :一個開源的輕量級分散式文件系統,特別適合相冊網站、視頻網站。
官方論壇 http://bbs.chinaunix.net/forum-240-1.html
分散式文件系統各自適用於不同的領域。 它們都不是系統級的分散式文件系統,而是應用級的分散式文件存儲服務。
4.分散式文件系統特點
1.擴展能力: 毫無疑問,擴展能力是一個分散式文件系統最重要的特點 存儲海量數據是分散式系統的重要特性
2.高可用性: 在分散式文件系統中,高可用性包含兩層, 一是整個文件系統的可用性,二是數據的完整和一致性。
3.協議和介面: 分散式文件系統提供給應用的介面多種多樣,Http RestFul介面
4.彈性存儲: 可以根據業務需要靈活地增加或縮減數據存儲以及增刪存儲池中的資源
5.壓縮、加密、去重、緩存和存儲配額: 這些功能的提供往往考驗一個 分散式文件系統是否具有可擴展性,一個分散式文件系統如果能方便的 進行功能的添加而不影響總體的性能