HDFS上傳數據的流程

来源:https://www.cnblogs.com/wang9911-00/archive/2019/03/29/10619349.html
-Advertisement-
Play Games

1.當客戶端輸入一條指令:hdfs dfs -put text.txt /text時,這條命令會給到DistributeFileSystem。 2.通過DistributeFileSystem簡稱DFS會創建DFSClient。 3.DFSClient會與hdfs伺服器建立RPC通訊,此時客戶端就可 ...


1.當客戶端輸入一條指令:hdfs dfs -put text.txt /text時,這條命令會給到DistributeFileSystem。

2.通過DistributeFileSystem簡稱DFS會創建DFSClient。

3.DFSClient會與hdfs伺服器建立RPC通訊,此時客戶端就可以訪問NameNode,並向其發送請求,並且NameNode接到請求命令

後會返回一個NameNode代理對象(NameNodeProxies)。

4.客戶端通過代理對象NameNodeProxies請求創建文件元信息。

5.NameNode接受請求後就開始創建文件元信息,這些元信息包括:文件名:text.txt、存儲路徑:/text、文件大小:1KB、冗餘度:3、數據塊:

根據文件大小會切分成多個數據塊,如果文件更大,會緩存文件元信息(緩存大小預設為1000M,可更改),數據塊可以分別存到3個副本中:

DataNode1、DataNode2、DataNode3

6.NameNode向客戶端返回可以存數據的DataNode,這裡遵循機架感應原則。

7.客戶端根據返回的信息先將文件分塊(Hadoop2.x版本每一個block為128M,而之前的版本為64M)。

8.客戶端根據NameNode返回的DataNoded的地址信息直接發送給DataNode,並通過創建輸出流OutputStream寫入到hdfs中,同時DataNode

會複製到其他兩台機器,完成迴圈上傳。

9.上傳完成後,DataNode向客戶端通信表示已經傳完數據塊,同時向NameNode報告,數據上傳完成。

以上是我通過學習,自己總結的hdfs的上傳流程,歡迎大家指正,我會根據大家的反饋認真改進完善!


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 架構驅動的因素 運營商和互聯網面臨不同的歷史時期,因而大數據在各自領域承擔的使命是不一樣的 運營商面臨被管道化的挑戰,營收下滑,大數據項目承擔企業戰略轉型、數據變現的使命。同時由於成本的壓力,以及大量基礎設施和設備利舊的訴求,所以運營商在大數據項目中,對性能、成本和集成度提出了很高的要求。 互聯網企 ...
  • 有些業務場景下會有擇出周末的需求,具體判斷語句如下: 1、SELECT TO_CHAR(TO_DATE(DATA_DATE,'YYYY-MM-DD),'D') FROM DUAL; 如果DATA_DATE為星期六則結果為7,如果DATA_DATE為星期日則結果為1,所以TO_CHAR(TO_DATE ...
  • 背景 今天早上11點的時候有客戶打電話過來說醫院的cis系統一直有阻塞,導致系統有卡慢的現象,信息中心的電話都快被打爆了,信息科人員很頭疼啊。 萬幸我們給資料庫裝了‘攝像頭’會把資料庫的一切狀態操作都會記錄下來,趕緊要了遠程之後看到了系統確實存在大量的阻塞(下圖) 通過點擊紫色圓點之後發現了長長的阻 ...
  • [20190329]探究sql語句相關mutexes補充2.txt--//昨天測試sql語句相關mutexes,看看如果出現多個子游標的情況.1.環境:SCOTT@book> @ ver1PORT_STRING VERSION BANNER x86_64/Linux 2.4.xx 11.2.0.4. ...
  • 筆記記錄自林曉斌(丁奇)老師的《MySQL實戰45講》 (本篇內圖片均來自丁奇老師的講解,如有侵權,請聯繫我刪除) 13) --為什麼數據表刪掉一半,表文件大小不變? 我們還是以MySQL中應用最廣泛的InnoDB引擎為基礎來展開討論。一個表中包含兩部分:表結構定義和數據。在MySQL8.0版本以前 ...
  • 前言:我跟網上大家的原因基本一樣,就是好久沒用sqlserver了,中間也對VS進行過卸載升級等,突然有一天發現,打開Sqlserver時打不開了,出了一個彈框:Cannot find one or more components... 百度吧,找到一個嘗試後可行的文章,該解決方案只需要卸載一個程式 ...
  • char char是定長的,也就是當你輸入的字元小於你指定的數目時,char(8),你輸入的字元小於8時,它會再後面補空值。當你輸入的字元大於指定的數時,它會截取超出的字元。 nvarchar(n) 包含 n 個字元的可變長度 Unicode 字元數據。n 的值必須介於 1 與 4,000 之間。字 ...
  • [20190328]簡單探究sql語句相關mutexes.txt--//摘要:http://www.askmaclean.com/archives/understanding-oracle-mutex.html雖然Mutex中文翻譯為互斥鎖,但為了和OS mutex充分的區別,所以我們在本文里稱Or ...
一周排行
    -Advertisement-
    Play Games
  • 示例項目結構 在 Visual Studio 中創建一個 WinForms 應用程式後,項目結構如下所示: MyWinFormsApp/ │ ├───Properties/ │ └───Settings.settings │ ├───bin/ │ ├───Debug/ │ └───Release/ ...
  • [STAThread] 特性用於需要與 COM 組件交互的應用程式,尤其是依賴單線程模型(如 Windows Forms 應用程式)的組件。在 STA 模式下,線程擁有自己的消息迴圈,這對於處理用戶界面和某些 COM 組件是必要的。 [STAThread] static void Main(stri ...
  • 在WinForm中使用全局異常捕獲處理 在WinForm應用程式中,全局異常捕獲是確保程式穩定性的關鍵。通過在Program類的Main方法中設置全局異常處理,可以有效地捕獲並處理未預見的異常,從而避免程式崩潰。 註冊全局異常事件 [STAThread] static void Main() { / ...
  • 前言 給大家推薦一款開源的 Winform 控制項庫,可以幫助我們開發更加美觀、漂亮的 WinForm 界面。 項目介紹 SunnyUI.NET 是一個基於 .NET Framework 4.0+、.NET 6、.NET 7 和 .NET 8 的 WinForm 開源控制項庫,同時也提供了工具類庫、擴展 ...
  • 說明 該文章是屬於OverallAuth2.0系列文章,每周更新一篇該系列文章(從0到1完成系統開發)。 該系統文章,我會儘量說的非常詳細,做到不管新手、老手都能看懂。 說明:OverallAuth2.0 是一個簡單、易懂、功能強大的許可權+可視化流程管理系統。 有興趣的朋友,請關註我吧(*^▽^*) ...
  • 一、下載安裝 1.下載git 必須先下載並安裝git,再TortoiseGit下載安裝 git安裝參考教程:https://blog.csdn.net/mukes/article/details/115693833 2.TortoiseGit下載與安裝 TortoiseGit,Git客戶端,32/6 ...
  • 前言 在項目開發過程中,理解數據結構和演算法如同掌握蓋房子的秘訣。演算法不僅能幫助我們編寫高效、優質的代碼,還能解決項目中遇到的各種難題。 給大家推薦一個支持C#的開源免費、新手友好的數據結構與演算法入門教程:Hello演算法。 項目介紹 《Hello Algo》是一本開源免費、新手友好的數據結構與演算法入門 ...
  • 1.生成單個Proto.bat內容 @rem Copyright 2016, Google Inc. @rem All rights reserved. @rem @rem Redistribution and use in source and binary forms, with or with ...
  • 一:背景 1. 講故事 前段時間有位朋友找到我,說他的窗體程式在客戶這邊出現了卡死,讓我幫忙看下怎麼回事?dump也生成了,既然有dump了那就上 windbg 分析吧。 二:WinDbg 分析 1. 為什麼會卡死 窗體程式的卡死,入口門檻很低,後續往下分析就不一定了,不管怎麼說先用 !clrsta ...
  • 前言 人工智慧時代,人臉識別技術已成為安全驗證、身份識別和用戶交互的關鍵工具。 給大家推薦一款.NET 開源提供了強大的人臉識別 API,工具不僅易於集成,還具備高效處理能力。 本文將介紹一款如何利用這些API,為我們的項目添加智能識別的亮點。 項目介紹 GitHub 上擁有 1.2k 星標的 C# ...