1.前言

       記得從上大學的時候就已經聽說過這個詞語 以前的理解可能就是數據量超大很多嘛 到這幾年大數據這個詞語被人們談論得也越來越頻繁 也越來越想瞭解它的所以自己才會去學習 我覺得做任何事之前肯定有某種驅使你去瞭解它的過程 以下僅是自己個人的理解

2.什麼是大數據?

       大數據不僅是數據量大 （G,TB,PB.....）達到甚至更大 ，試想一下我給你一個數據量達到TB級別的數據 但是裡面的數據都是一些你看不懂或者沒有什麼可用的信息的 那它也不過是一個數據量很大的文件而已(僅此而已沒有什麼可以提供的價值信息) ，所以說大數據不僅是擁有海量的數據而且是多維度的(能夠獲取到很多有價值的信息)我們經常會把數據存放到硬碟 硬碟大嘛可以存放幾百G的容量 但是我們的大數據就不行了 因為大數據的數據量是龐大的是你都無法想象的(有時候會在腦海裡想想 全世界有接近70多億的人口說全世界可能範圍太大 就單單一個中國13億人每天產生的數據量就大的驚人)這麼大的數據量怎麼可能去存放到硬碟里呢(在多弄幾臺電腦不就行了 幾台不行在搞個幾十臺當初就是這麼想的) 這時候我們的大數據就派上用場了 

      大數據的核心是解決海量數據 場景下的數據存儲加運算問題(拿到數據後肯定會進行一些計算然後提取到我們所需要的信息) 而海量數據 場景下的數據存儲加運算問題的核心又是分散式技術

       我們經常會上網購物 淘寶天貓京東呀 每次只要搜索的時候一件物品(比如電腦)那麼下次再進來的時候你就會發現很多有關電腦的購物信息 當我選擇一件物品進入到購物車 就會立即跟我推薦很多跟我購物車相關的物品  以前可能回想這是怎麼回事 為什麼不推薦其他的物品呢 現在可能有了一些些瞭解

      首先當我們訪問一個頁面的時候 例如京東的網站    每當我們在瀏覽一個頁面點擊每一件商品的時候 會像服務端server發送很多信息 (商品標題 ip地址 用戶id.......)都會發到server 服務端收到信息之後 就會把這些信息獲取到然後保存到硬碟中 相當一個日誌吧 每天都會存放一些信息 並且會不斷的更新數據會越來越大必須做一些處理 那麼問題也就來了

 Q1:試想以下像京東天貓每天同時瀏覽人數沒有上億也有好幾千萬的訪問量 ，假如一個人訪問數據量為幾k 一天總共請求的數據也有百g了 如果一個月 一年 那麼數據就會越來越大那麼它的數據又是如何保存的呢？

      如果用硬碟存放肯定不現實 而京東(不止是京東 天貓 谷歌 阿裡)也是運用了分散式文件存儲系統(HDFS) 將數據存放到多台伺服器上面 然後進行數據操作

3.接下來談談對HDFS的理解 不禁會有這麼幾個問題

1.HDFS是做什麼的？

 HDFS分散式計算中數據存儲管理的基礎 是用來存儲超大數據文件的系統

2.HDFS有什麼優點為什麼這麼多公司會用？

 （1）高容錯性 

    數據自動保存多個副本 當一個副本丟失會自動恢復

   (2)適合大數據處理

      1) 數據規模：能夠處理數據規模達到 GB、TB、甚至PB級別的數據。

      2) 文件規模：能夠處理百萬規模以上的文件數量，數量相當之大。

   (3) 流式數據訪問

     1) 一次寫入，多次讀取，不能修改，只能追加。

     2) 它能保證數據的一致性。

   (4) 可構建在廉價機器上

     1) 它通過多副本機制，提高可靠性。

     2) 它提供了容錯和恢復機制。比如某一個副本丟失，可以通過其它副本來恢復。

   (5) 適合批處理

     1) 它是通過移動計算而不是移動數據。

     2) 它會把數據位置暴露給計算框架。

 3.HDFS如何存儲數據?

     (1) 我們要想知道HDFS如何存儲數據 就必須先瞭解到HDFS Client、NameNode、DataNode和Secondary NameNode
         1) HDFS Cilent   hdfs客戶端

         文件上傳到HDFS的時候 會將文件進行分塊 然後再進行存儲

         與NameNode交互 獲取到文件的位置信息 NameNode管理DataNode 應該將文件存儲到哪個節點

         與DataNode交互 存儲獲讀取數據

         Client 提供一些命令來管理 HDFS，比如啟動或者關閉HDFS。

          2)NameNode 

           處理客戶端的請求 

           管理數據塊的信息

           管理DataNode

         3)DataNode

            是真正幹事的節點 它負責存儲數據

        4)Secondary NameNode

          輔助 NameNode，分擔其工作量(有點像秘書的角色) 但是當NameNode掛掉的時候 它並不能馬上替換 NameNode 並提供服務

          定期合併 fsimage和fsedits，並推送給NameNode。

 4. 接下來來談談HDFS的存儲過程 

1 當客戶端發送一個請求說有一個文件需要存儲(gfvadio.avi) 

2.NameNode會接收到這個請求 並且會在虛擬目錄樹下麵找是否有這個文件 如果有就響應可以傳輸  

3.然後客戶端就會去傳輸數據(並且會分塊傳輸 預設是128M是一塊 而我要傳輸的文件是200M 它會分為兩塊去傳) 並且會保存三份副本 以免數據丟失

4.NameNode通知客戶端可以將數據傳到 DN1 DN2 DN4 並且會給它分配一個全局唯一的blk_id 

5.客戶端收到消息後就會將文件傳到DN1 DN2 DN4 第一塊傳輸完成

6.客戶端請求傳輸文件的第二塊 並且也保存三份 接著NameNode通知可以將文件傳到DN2 DN3 DN4 並且會分配給它一個佈局唯一的blk_id2

7.客戶端收到消息後傳輸文件到DN2 DN3 DN4 存儲完成

至於為什麼HDFS會這麼存儲數據 肯定是有它的道理的 接下來這幾個問題問題也許可以解決這個疑問

     Q2:如果多個客戶端傳輸同一個文件名 可能造成什麼後果？

           之前的數據肯定會被覆蓋 數據丟失 正是因為這個原因所以在傳輸文件的時候NameNode會分配一個全局唯一的編號

     Q3：如果客戶端傳輸一個超大文件100G會發生什麼？

         100G的數據讀起來肯定非常慢 所以會分塊 每個機器讀取不同的塊 可以大大增加讀取效率

     Q4：傳輸數據的時候數據存儲伺服器掛掉(如果DN1，DN2 )了會發生什麼?

          這裡就可以解決為什麼會備份副本 傳輸文件的時候會備份多份 這樣可以防止某台伺服器突然掛掉 數據出現丟失的情況

5.HDFS讀取數據的過程

  1.客戶端發送請求讀取數據

  2.NameNode會在元數據中查找是否存在這個文件 如果存在 然後就會通知客戶端blk_id在DN1 blk_id2在DN2

  3.客戶端然後再去DN1中取第一塊數據 取完之後再在DN2中取第二塊

先前總是想著寫的 總是沒有足夠的時間 今天花了一個上午終於寫完了 以上僅是自己的理解 如果有什麼不對的歡迎指正 小弟不勝感激