本文分享自天翼雲開發者社區《淺談HPC中的Lustre》,作者:n****m 1. 什麼是 lustre? Lustre 體繫結構是一個為集群設計的存儲體繫結構。 其核心組件是運行在 Linux 操作系統上、 支持標準的 POSIX* UNIX 文件系統介面、 並遵循 GPL2.0 許可的 Lust ...
本文分享自天翼雲開發者社區《淺談HPC中的Lustre》,作者:n****m
1. 什麼是 lustre?
Lustre 體繫結構是一個為集群設計的存儲體繫結構。 其核心組件是運行在 Linux 操作系統上、 支持標準的 POSIX* UNIX 文件系統介面、 並遵循 GPL2.0 許可的 Lustre 文件系統。 據 IDC 的統計, Lustre 是在 HPC 領域應用最廣的文件系統, 世界上最快的 50 個超算網站有 60%都使用 Lustre。
2.Lustre 的文件系統有哪些組件?
Lustre 文件系統的主要組件有: MDS、 MDT、 OSS、 OST、 Client。 各個組件間的關係如下圖。
3.MDS、 MDT、 OSS、 OST 是什麼?
MDS(Metadata Server): MDS 負責管理 Lustre 文件系統的文件名、 目錄、 許可權、 文件結構等元數據信息, MDS 生成的元數據存儲在一個或者多個 MDT 上, 併為每個 Client提供服務。 MDS 可以有多個, 但只有一個為主 MDS, 其餘 MDS 工作在備份模式。
MDT(Metadata Target): 每個文件系統都有一個 MDT, MDT 可以是 MDS 本地硬碟(只有一個 MDS 時)、 也可以是遠端存儲的一個 LUN 設備。 一個 MDT 可以通過同時映射給兩台主機, 供多個 MDS 進行訪問, 但同一時刻只能有一個 MDS 進行訪問, 通過這種方式可以實現 MDS 的高可用性。
OSS(Object Storage Servers): OSS 為 Client 提供文件 I/O 服務, 客戶端從 MDS 獲取元數據信息後, 從 OSS 訪問文件數據, 文件數據最終存儲在與 OSS 相連的 OST 上。
OST(Object Storage Target): 用戶文件存儲在一個或者多個對象中, 每個對象對應一個獨立的 OST, 每個文件可以存儲在一個 OST 上, 也可以跨越多個 OST 進行存儲。 一個OST 可以通過同時映射給兩台主機實現 OSS 的高可用性。