hadoop學習記錄

来源:https://www.cnblogs.com/do-ma/archive/2023/04/07/17295700.html
-Advertisement-
Play Games

Hadoop簡介安裝 狹義上Hadoop指的是Apache軟體基金會的一款開源軟體用java語言實現，開源允許用戶使用簡單的編程模型實現跨機器集群對海量數據進行分散式計算處理 Hadoop核心組件 Hadoop HDFS（分散式文件存儲系統）：解決海量數據存儲 Hadoop YARN（集群資源管理和 ...


Hadoop簡介安裝

狹義上Hadoop指的是Apache軟體基金會的一款開源軟體用java語言實現，開源允許用戶使用簡單的編程模型實現跨機器集群對海量數據進行分散式計算處理

Hadoop核心組件

  • Hadoop HDFS（分散式文件存儲系統）：解決海量數據存儲
  • Hadoop YARN（集群資源管理和任務調度框架）：解決資源任務調度****
  • Hadoop MapReduce（分散式計算框架）：解決海量數據計算

Hadoop之父：Doug Cutting
遇到瓶頸：如何解決數十億網頁的存儲和索引問題
源自Google三篇論文

Hadoop集群包括兩個集群：

兩個集群邏輯上分離、通常物理上在一起
兩個集群都是標準的主從架構集群

  • HDFS集群
  • YARN集群

首次啟動HDFS時，必須對其進行格式化操作。
format本質上是初始化工作，進行HDFS清理和準備工作
命令：
hdfs namenode -format
每台機器上每次手動啟動關閉一個角色進程,可以精準控制每個進程啟停，避免群起群停。

  • HDFS集群

hadoop3.x版本命令
hdfs --daemon start|stop namenode|datanode|secondarynamenode

  • YARN集群

hadoop3.x版本命令
yarn --daemon start|stop resourcemanager|nodemanager

shell腳本一鍵啟停

在node1上，使用軟體自帶的shell腳本一鍵啟動。前提：配置好機器之間的SSH免密登錄和
workers文件。

  1. HDFS集群
start-dfs.sh 
stop-dfs.sh
  1. YARN集群
start-yarn.sh
stop-yarn.sh
  1. Hadoop集群
start-all.sh
stop-all.sh

啟動完畢之後可以使用jps命令查看進程是否啟動成功
web界面：

  • HDFS集群：http://namenode_host:9870
  • YARN集群：http://resourcemanager_host:8088

HDFS shell命令：

HDFS Shell CLI支持操作多種文件系統，包括本地文件系統（file:///）、分散式文件系統（hdfs://nn:8020）等
具體操作的是什麼文件系統取決於命令中文件路徑URL中的首碼協議。
如果沒有指定首碼，則將會讀取環境變數中的fs.defaultFS屬性，以該屬性值作為預設文件系統。

hadoop fs -ls file:/// #操作本地文件系統
hadoop fs -ls hdfs://node1:8020/ #操作HDFS分散式文件系統
hadoop fs -ls / #直接根目錄，沒有指定協議 將載入讀取fs.defaultFS值
hadoop fs -mkdir [-p] <path> ... 
path 為待創建的目錄
-p選項的行為與Unix mkdir -p非常相似，它會沿著路徑創建父目錄。
hadoop fs -ls [-h] [-R] [<path> ...]
path 指定目錄路徑
-h 人性化顯示文件size
-R 遞歸查看指定目錄及其子目錄
hadoop fs -put [-f] [-p] <localsrc> ... <dst>
-f 覆蓋目標文件（已存在下）
-p 保留訪問和修改時間，所有權和許可權。
localsrc 本地文件系統（客戶端所在機器）
dst 目標文件系統（HDFS）
hadoop fs -cat <src> ... 
hadoop fs -get [-f] [-p] <src> ... <localdst>
下載文件到本地文件系統指定目錄，localdst必須是目錄
-f 覆蓋目標文件（已存在下）
-p 保留訪問和修改時間，所有權和許可權
hadoop fs -cp [-f] <src> ... <dst>
-f 覆蓋目標文件（已存在下）
hadoop fs -appendToFile <localsrc> ... <dst>
將所有給定本地文件的內容追加到給定dst文件。
dst如果文件不存在，將創建該文件。
如果<localSrc>為-，則輸入為從標準輸入中讀取。
hadoop fs -mv <src> ... <dst>
移動文件到指定文件夾下
可以使用該命令移動數據，重命名文件的名稱

HDFS

文件系統與分散式文件系統，HDFS簡介，HDFS重要特性等

HDFS簡介
HDFS主要是解決大數據如何存儲問題的。分散式意味著是HDFS是橫跨在多台電腦上的存儲系統。
HDFS是一種能夠在普通硬體上運行的分散式文件系統，它是高度容錯的，適應於具有大數據集的應用程式，它非
常適於存儲大型數據 (比如 TB 和 PB)。
HDFS使用多台電腦存儲文件, 並且提供統一的訪問介面, 像是訪問一個普通文件系統一樣使用分散式文件系統

整體概述

  • 主從架構

HDFS集群是標準的master/slave主從架構集群。
一般一個HDFS集群是有一個Namenode和一定數目的Datanode組成。
Namenode是HDFS主節點，Datanode是HDFS從節點，兩種角色各司其職，共同協調完成分散式的文件存儲服
務。
官方架構圖中是一主五從模式，其中五個從角色位於兩個機架（Rack）的不同伺服器上。

  • 分塊存儲

HDFS中的文件在物理上是分塊存儲（block）的，預設大小是128M（134217728），不足128M則本身就是一塊
塊的大小可以通過配置參數來規定，參數位於hdfs-default.xml中：dfs.blocksize。

  • 副本機制

文件的所有block都會有副本。副本繫數可以在文件創建的時候指定，也可以在之後通過命令改變
副本數由參數dfs.replication控制，預設值是3，也就是會額外再複製2份，連同本身總共3份副本

  • 元數據記錄

在HDFS中，Namenode管理的元數據具有兩種類型：

  1. 文件自身屬性信息
    文件名稱、許可權，修改時間，文件大小，複製因數，數據塊大小。
  2. 文件塊位置映射信息
    記錄文件塊和DataNode之間的映射信息，即哪個塊位於哪個節點上。
  • 抽象統一的目錄樹結構（namespace）

HDFS集群角色與職責
namenode職責

  • NameNode僅存儲HDFS的元數據：文件系統中所有文件的目錄樹，並跟蹤整個集群中的文件，不存儲實際數據。
  • NameNode知道HDFS中任何給定文件的塊列表及其位置。使用此信息NameNode知道如何從塊中構建文件。
  • NameNode不持久化存儲每個文件中各個塊所在的datanode的位置信息，這些信息會在系統啟動時從DataNode
  • 重建。
  • NameNode是Hadoop集群中的單點故障。
  • NameNode所在機器通常會配置有大量記憶體（RAM）。

datanode職責

  • DataNode負責最終數據塊block的存儲。是集群的從角色，也稱為Slave。
  • DataNode啟動時，會將自己註冊到NameNode並彙報自己負責持有的塊列表。
  • 當某個DataNode關閉時，不會影響數據的可用性。 NameNode將安排由其他DataNode管理的塊進行副本複製
  • DataNode所在機器通常配置有大量的硬碟空間，因為實際數據存儲在DataNode中。

寫數據完整流程：

  • 通過pipeline管道客戶端將數據塊寫入第一個數據節點，第一個數據節點保存數據之後再將塊複製到第二個數據節點，後者保存後將
    其複製到第三個數據節點。使用反方向ack校驗，預設3副本策略。

YARN

YARN功能說明

  • 資源管理系統：集群的硬體資源，和程式運行相關，比如記憶體、CPU等。
  • 調度平臺：多個程式同時申請計算資源如何分配，調度的規則（演算法）。
  • 通用：不僅僅支持MapReduce程式，理論上支持各種計算程式。YARN不關心你乾什麼，只關心你要資源，在有的情況下給你，用完之後還我。

YARN概述

  • 可以把Hadoop YARN理解為相當於一個分散式的操作系統平臺，而MapReduce等計算程式則相當於運行於操作系統之上的應用程式，YARN為這些程式提供運算所需的資源（記憶體、CPU等）。
  • Hadoop能有今天這個地位，YARN可以說是功不可沒。因為有了YARN ，更多計算框架可以接入到 HDFS中，而不單單是 MapReduce，正是因為YARN的包容，使得其他計算框架能專註於計算性能的提升。
  • HDFS可能不是最優秀的大數據存儲系統，但卻是應用最廣泛的大數據存儲系統， YARN功不可沒

YARN3大組件

  • ResourceManager（RM）

YARN集群中的主角色，決定系統中所有應用程式之間資源分配的最終許可權，即最終仲裁者。
接收用戶的作業提交，並通過NM分配、管理各個機器上的計算資源。

  • NodeManager（NM）

YARN中的從角色，一臺機器上一個，負責管理本機器上的計算資源。
根據RM命令，啟動Container容器、監視容器的資源使用情況。並且向RM主角色彙報資源使用情況。

  • ApplicationMaster（AM）

用戶提交的每個應用程式均包含一個AM。
應用程式內的“老大”，負責程式內部各階段的資源申請，監督程式的執行情況

核心交互流程

  • MR作業提交 Client-->RM
  • 資源的申請 MrAppMaster-->RM
  • MR作業狀態彙報 Container（Map|Reduce Task）-->Container（MrAppMaster）
  • 節點的狀態彙報 NM-->RM

YARN資源調度器Scheduler

在理想情況下，應用程式提出的請求將立即得到YARN批准。但是實際中，資源是有限的，並且在繁忙的群集上，應用程式通常將需要等待其某些請求得到滿足。YARN調度程式的工作是根據一些定義的策略為應用程式分配資源。
在YARN中，負責給應用分配資源的就是Scheduler，它是ResourceManager的核心組件之一。Scheduler完全專用於調度作業，它無法跟蹤應用程式的狀態

三種調度器

  • FIFO Scheduler（先進先出調度器）

FIFO Scheduler是一個先進先出的思想，即先提交的應用先運行。調度工作不考慮優先順序和範圍，適用於負載較低的小規模集群。當使用大型共用集群時，它的效率較低且會導致一些問題

  • Capacity Scheduler（容量調度器）

Capacity Scheduler容量調度是Apache Hadoop3.x預設調度策略。該策略允許多個組織共用整個集群資源，每個組織可以獲得集群的一部分計算能力。通過為每個組織分配專門的隊列，然後再為每個隊列分配一定的集群資源，這樣整個集群就可以通過設置多個隊列的方式給多個組織提供服務了

  • Fair Scheduler（公平調度器）

Fair Scheduler叫做公平調度，提供了YARN應用程式公平地共用大型集群中資源的另一種方式。使所有應用在平均情況下隨著時間的流逝可以獲得相等的資源份額

MapReduce

Hadoop MapReduce是一個分散式計算框架，用於輕鬆編寫分散式應用程式，這些應用程式以可靠，容錯的方式並行處理大型硬體集群（數千個節點）上的大量數據（多TB數據集）。
MapReduce是一種面向海量數據處理的一種指導思想，也是一種用於對大規模數據進行分散式計算的編程模型。

WordCount編程實現思路

  • map階段的核心：把輸入的數據經過切割，全部標記1，因此輸出就是<單詞，1>。
  • shuffle階段核心：經過MR程式內部自帶預設的排序分組等功能，把key相同的單詞會作為一組數據構成新的kv對。
  • reduce階段核心：處理shuffle完的一組數據，該組數據就是該單詞所有的鍵值對。對所有的1進行累加求和，就是單詞的總次數

例子：WordCount程式提交
上傳課程資料中的文本文件1.txt到HDFS文件系統的/input目錄下，如果沒有這個目錄，使用shell創建

hadoop fs -mkdir /input
hadoop fs -put 1.txt /input

準備好之後，執行官方MapReduce實例，對上述文件進行單詞次數統計
第一個參數：wordcount表示執行單詞統計任務；
第二個參數：指定輸入文件的路徑；
第三個參數：指定輸出結果的路徑（該路徑不能已存在）

[root@node1 mapreduce]# pwd
/export/server/hadoop-3.3.0/share/hadoop/mapreduce
[root@node1 mapreduce]# hadoop jar hadoop-mapreduce-examples-3.3.0.jar wordcount 
/input /output

您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 0002 嵌入式開髮帶你從小白到大佬系列之——Linux文件系統、常用文件操作命令（一）及用戶許可權
    #1、熟悉Linux的文件系統結構 Linux的文件系統結構其實是一個樹形的分層組織結構，如下圖： Linux系統目錄結構及目錄路徑： ##1.1、文件系統層次結構標準 Linux是開源的操作系統，各個Linux發行機構都可以按照自己的需求對Linux系統的文件系統進行相應的裁剪，所以各個Linux ...
  • 0001 嵌入式開髮帶你從小白到大佬系列之——Linux開發環境搭建—Windows-VMware-Ubuntu環境配置
    如文章標題，我們安裝的Linux開發環境是**：Windows-VMware-Ubuntu環境** 配置，即在windows系統下安裝VMware虛擬機，之後在VMware中配置安裝Linux系統的常用發行版——Ubuntu系統。 沒有在一臺伺服器或者一臺電腦上直接安裝linux系統（比如直接主機安 ...
  • 概念：四種基於模型的嵌入式軟體開發、測試與驗證方法
    ​ 嵌入式軟體（如航空電子和汽車系統）的設計、開發、測試和驗證正變得越來越複雜。傳統的文檔驅動式環境中，一旦開發人員之間缺乏協調，軟體程式生命周期的質量和成本就會受到嚴重影響，顯然已經無法應對日益複雜的嵌入式軟體生產。 正確使用基於模型的設計（Model-Based Design，以下簡稱MBD）方 ...
  • Linux許可權掌控
    無論是Window，MacOs，Linux均採用多用戶的管理模式進行許可權管理。 在Linux系統中，擁有最大許可權的賬戶名為：root（超級管理員）。 root用戶擁有最大的系統操作許可權，而普通用戶在許多地方的許可權是受限的。 普通用戶一般在HOME目錄是不受限制的，一旦出了HOME目錄，大多地方，僅有 ...
  • 05-Esp8266物聯網晶元的使用（一）-part01-ESP8266引腳
    主要內容 晶元介紹 開發環境 編程舉例 晶元介紹 什麼是NodeMCU？ NodeMCU,是一個開源的物聯網平臺。 它使用Lua腳本語言編程。該平臺基於eLua 開源項目,底層使用ESP8266 sdk 0.9.5版本。該平臺使用了很多開源項目, 例如 lua-cjson, spiffs. Node ...
  • 面試題百日百刷-HBase HRegionServer宕機如何處理
    鎖屏面試題百日百刷，每個工作日堅持更新面試題。鎖屏面試題app、小程式現已上線，官網地址：https://www.demosoftware.cn。已收錄了每日更新的面試題的所有內容，還包含特色的解鎖屏幕複習面試題、每日編程題目郵件推送等功能。讓你在面試中先人一步!接下來的是今日的面試題： 1.HBa ...
  • mysql+navicat安裝配置教程
    一、MySQLl和Navicat的關係 Mysql一個關係型資料庫管理系統，由瑞典MysqlLAB公司開發，目前屬於Oracle旗下產品，是目前最流行的關心型資料庫管理系統之一。 Navicat一個資料庫管理工具，用可視化界面提供給用戶操作Mysql資料庫管理系統。 記得我第一次安裝Navicat之 ...
  • 詳解 Flink Catalog 在 ChunJun 中的實踐之路
    我們知道 Flink 有Table（表）、View（視圖）、Function（函數/運算元）、Database（資料庫）的概念，相對於這些耳熟能詳的概念，Flink 里還有一個 Catalog（目錄） 的概念。 本文將為大家帶來 Flink Catalog 的介紹以及 Flink Catalog 在 ...
一周排行
    -Advertisement-
    Play Games
  • C# + WPF 音頻播放器 界面優雅，體驗良好
    前言 本文介紹一款使用 C# 與 WPF 開發的音頻播放器，其界面簡潔大方，操作體驗流暢。該播放器支持多種音頻格式（如 MP4、WMA、OGG、FLAC 等），並具備標記、實時歌詞顯示等功能。 另外，還支持換膚及多語言（中英文）切換。核心音頻處理採用 FFmpeg 組件，獲得了廣泛認可，目前 Git ...
  • OAuth2.0授權-gitee授權碼模式
    OAuth2.0授權驗證-gitee授權碼模式 本文主要介紹如何筆者自己是如何使用gitee提供的OAuth2.0協議完成授權驗證並登錄到自己的系統，完整模式如圖 1、創建應用 打開gitee個人中心->第三方應用->創建應用 創建應用後在我的應用界面，查看已創建應用的Client ID和Clien ...
  • FastReport.OpenSource .Net下開源免費報表列印組件
    解決了這個問題：《winForm下，fastReport.net 從.net framework 升級到.net5遇到的錯誤“Operation is not supported on this platform.”》 本文內容轉載自：https://www.fcnsoft.com/Home/Sho ...
  • 如何在 ASP.NET Core Web API 方法執行前後 “偷偷“ 作一些 “壞“ 事？初識 ActionFilterAttribute
    國內文章 WPF 從裸 Win 32 的 WM_Pointer 消息獲取觸摸點繪製筆跡 https://www.cnblogs.com/lindexi/p/18390983 本文將告訴大家如何在 WPF 裡面，接收裸 Win 32 的 WM_Pointer 消息，從消息裡面獲取觸摸點信息，使用觸摸點 ...
  • 在 ASP.NET Core Web API 中使用異常篩選器捕獲和統一處理異常
    前言 給大家推薦一個專為新零售快消行業打造了一套高效的進銷存管理系統。 系統不僅具備強大的庫存管理功能，還集成了高性能的輕量級 POS 解決方案，確保頁面載入速度極快，提供良好的用戶體驗。 項目介紹 Dorisoy.POS 是一款基於 .NET 7 和 Angular 4 開發的新零售快消進銷存管理 ...
  • AbpHelper CLI積累與實戰分享
    ABP CLI常用的代碼分享 一、確保環境配置正確 安裝.NET CLI： ABP CLI是基於.NET Core或.NET 5/6/7等更高版本構建的，因此首先需要在你的開發環境中安裝.NET CLI。這可以通過訪問Microsoft官網下載並安裝相應版本的.NET SDK來實現。 安裝ABP ...
  • 記一次HttpClient使用問題分析
    問題 問題是這樣的：第三方的webapi，需要先調用登陸介面獲取Cookie，訪問其它介面時攜帶Cookie信息。 但使用HttpClient類調用登陸介面，返回的Headers中沒有找到Cookie信息。 分析 首先，使用Postman測試該登陸介面，正常返回Cookie信息，說明是HttpCli ...
  • .NET周刊【9月第3期 2024-09-15】
    國內文章 關於.NET在中國為什麼工資低的分析 https://www.cnblogs.com/thinkingmore/p/18406244 .NET在中國開發者的薪資偏低，主要因市場需求、技術棧選擇和企業文化等因素所致。歷史上，.NET曾因微軟的閉源策略發展受限，儘管後來推出了跨平臺的.NET ...
  • 我的網站集成ElasticSearch初體驗
    在WPF開發應用中，動畫不僅可以引起用戶的註意與興趣，而且還使軟體更加便於使用。前面幾篇文章講解了畫筆（Brush），形狀（Shape），幾何圖形（Geometry），變換（Transform）等相關內容，今天繼續講解動畫相關內容和知識點，僅供學習分享使用，如有不足之處，還請指正。 ...
  • 第23篇 委托的概述
    什麼是委托？ 委托可以說是把一個方法代入另一個方法執行，相當於指向函數的指針；事件就相當於保存委托的數組； 1.實例化委托的方式： 方式1：通過new創建實例： public delegate void ShowDelegate(); 或者 public delegate string ShowDe ...
所有分類