本文由雲+社區發表 做為大數據生態系統中最重要的底層存儲文件系統HDFS，為了保證系統的可靠性，HDFS通過多副本的冗餘來防止數據的丟失。通常，HDFS中每一份數據都設置兩個副本，這也使得存儲利用率僅為1/3，每TB數據都需要占用3TB的存儲空間。隨著數據量的增長，複製的代價也變得越來越明顯：傳統的 ...
本文由雲+社區發表
做為大數據生態系統中最重要的底層存儲文件系統HDFS，為了保證系統的可靠性，HDFS通過多副本的冗餘來防止數據的丟失。通常，HDFS中每一份數據都設置兩個副本，這也使得存儲利用率僅為1/3，每TB數據都需要占用3TB的存儲空間。隨著數據量的增長，複製的代價也變得越來越明顯：傳統的3份複製相當於增加了200%的存儲開銷，給存儲空間和網路帶寬頻來了很大的壓力。因此，在保證可靠性的前提下如何提高存儲利用率已成為當前HDFS應用的主要問題之一。
針對這些問題，英特爾、Cloudera、華為以及其他的Apache Hadoop communit共同參與開始引入糾刪碼（Erasure Coding，EC）技術，在保證數據可靠性的同時大幅降低存儲開銷，節省2倍的存儲空間。該feature計劃在Hadoop3.0版本發佈。
什麼是糾刪碼 EC
Erasure coding糾刪碼技術簡稱EC，是一種數據保護技術。最早用於通信行業中數據傳輸中的數據恢復，是一種編碼容錯技術。他通過在原始數據中加入新的校驗數據，使得各個部分的數據產生關聯性。在一定範圍的數據出錯情況下，通過糾刪碼技術都可以進行恢復。
在存儲系統中，糾刪碼技術主要是通過利用糾刪碼演算法將原始的數據進行編碼得到校驗，並將數據和校驗一併存儲起來，以達到容錯的目的。其基本思想是將ｋ塊原始的數據元素通過一定的編碼計算，得到ｍ塊校驗元素。對於這ｋ+ｍ塊元素，當其中任意的ｍ塊元素出錯（包括數據和校驗出錯），均可以通過對應的重構演算法恢復出原來的ｋ塊數據。生成校驗的過程被成為編碼（encoding），恢復丟失數據塊的過程被稱為解碼（decoding）。
Reed-Solomon（RS）碼是存儲系統較為常用的一種糾刪碼，它有兩個參數k和m，記為RS(k，m)。如圖1所示，k個數據塊組成一個向量被乘上一個生成矩陣（Generator Matrix）GT從而得到一個碼字（codeword）向量，該向量由k個數據塊和m個校驗塊構成。如果一個數據塊丟失，可以用(GT)-1乘以碼字向量來恢復出丟失的數據塊。RS(k，m)最多可容忍m個塊（包括數據塊和校驗塊）丟失。
EC
HDFS引入EC碼的優勢和劣勢
優勢
EC碼的優勢是顯而易見的，可以大幅度的降低數據的存儲空間。特別是PB、EB級的場景下，會極大的削減存儲的成本。
劣勢
EC技術的優勢確實明顯，但是他的使用也是需要一些代價的，一旦數據需要恢復，他會造成兩大資源的消耗:
網路帶寬消耗（數據恢復需要去讀其他的數據塊和校驗塊），CPU消耗（編解碼計算）。
GPU、TPU加速糾刪碼的運算
從上面的EC碼優缺點對比可以看出，雖然EC碼可以大幅的節省空間，但是因為在存儲和恢復的過程中需要額外的運算。用線上上系統的時候，一旦有節點掛掉觸發數據恢復，計算量是比較大的，可能會對集群的整體性能造成影響，拖慢正常的計算任務。
在上面的介紹中我們看到，EC碼的計算實際上就是矩陣相乘的計算，而目前AI業界最火熱的神經網路的計算也是當量的矩陣相乘相加。由此我們可以大膽的想象，是否可以利用目前GPU和TPU對矩陣運算的優化，來加速EC碼的計算性能呢？
目前業界比較領先的兩個AI計算加速晶元分別為NVIDIA的Volta GPU架構和Google的TPU。
對於純矩陣相加相乘的運算，GPU或TPU相比於CPU，性能的提升可以達到50~80倍。
NVIDIA
NVIDIA的Tesla V100提供了120個專門用於矩陣運算的Tensor Core。每個 Tensor Core 包含一個 4x4x4 的矩陣處理陣列來完成 D=A x B + C 的運算，其中 A、B、C、D 是 4×4 的矩陣，如下圖所示。矩陣相乘的輸入 A 和 B 是 FP16 矩陣，相加矩陣 C 和 D 可能是 FP16 矩陣或 FP32 矩陣。
Tensor Core
每個 Tensor Core 每個時鐘可執行 64 次浮點 FMA 混合精度運算（FP16 乘法與 FP32 累加），一個 SM 單元中的 8 個 Tensor Core 每個時鐘可執行共計 1024 次浮點運算。相比於使用標準 FP32 計算的 Pascal GP100 而言，單個 SM 下的每個深度學習應用的吞吐量提升了 8 倍，所以這最終使得 Volta V100 GPU 相比於 Pascal P100 GPU 的吞吐量一共提升了 12 倍。Tensor Core 在與 FP32 累加結合後的 FP16 輸入數據之上操作。FP16 的乘法得到了一個全精度結果，該結果在 FP32 和其他給定的 4x4x4 矩陣乘法點積的乘積運算之中進行累加。
TPU
TPU是Google為TensorFlow定製化的AI加速晶元。這個TPU晶元是面向datacenter inference應用。它的核心是由65,536個8-bit MAC組成的矩陣乘法單元（matrix multiply unit），峰值可以達到92 TeraOps/second (TOPS) 。有一個很大的片上存儲器，一共28 MiB。它可以支持MLP，CNN和LSTM這些常見的NN網路，並且支持TensorFLow框架。摘要裡面還可以看出，傳統CPU和GPU使用的技術（caches, out-of-order execution, multithreading, multiprocessing, prefetching）它都沒用，原因是它面向的應用都是deterministic execution model，這也是它可以實現高效的原因。它的平均性能（TOPS）可以達到CPU和GPU的15到30倍，能耗效率（TOPS/W）能到30到80倍。如果使用GPU的DDR5 memory，這兩個數值可以達到大約GPU的70倍和CPU的200倍。
TPU
前景分析
由於HDFS的內部邏輯已然十分複雜，社區對於HDFS EC碼的改造需要分幾個步奏來實現：
- 用戶可以讀和寫一個條形佈局（Striping Layout）的文件；如果該文件的一個塊丟失，後臺能夠檢查出並恢復；如果在讀的過程中發現數據丟失，能夠立即解碼出丟失的數據從而不影響讀操作。
- 支持將一個多備份模式（HDFS原有模式）的文件轉換成連續佈局（Contiguous Layout），以及從連續佈局轉換成多備份模式。
- 編解碼器將作為插件，用戶可指定文件所使用的編解碼器。
編碼器可以作為獨立的插件，從而可以將使用AI加速硬體的編碼器作為獨立的插件，分發到有GPU或TPU硬體資源的集群中。特別是Hadoop 3.0的yarn組件目前也在也k8s深度整合，做一些GPU硬體資源的調度和管理。
此文已由作者授權騰訊雲+社區在各渠道發佈
獲取更多新鮮技術乾貨，可以關註我們騰訊雲技術社區-雲加社區官方號及知乎機構號
