hadoop學習記錄

来源:https://www.cnblogs.com/do-ma/archive/2023/04/07/17295700.html
-Advertisement-
Play Games

Hadoop簡介安裝 狹義上Hadoop指的是Apache軟體基金會的一款開源軟體用java語言實現，開源允許用戶使用簡單的編程模型實現跨機器集群對海量數據進行分散式計算處理 Hadoop核心組件 Hadoop HDFS（分散式文件存儲系統）：解決海量數據存儲 Hadoop YARN（集群資源管理和 ...


Hadoop簡介安裝

狹義上Hadoop指的是Apache軟體基金會的一款開源軟體用java語言實現，開源允許用戶使用簡單的編程模型實現跨機器集群對海量數據進行分散式計算處理

Hadoop核心組件

  • Hadoop HDFS（分散式文件存儲系統）：解決海量數據存儲
  • Hadoop YARN（集群資源管理和任務調度框架）：解決資源任務調度****
  • Hadoop MapReduce（分散式計算框架）：解決海量數據計算

Hadoop之父：Doug Cutting
遇到瓶頸：如何解決數十億網頁的存儲和索引問題
源自Google三篇論文

Hadoop集群包括兩個集群：

兩個集群邏輯上分離、通常物理上在一起
兩個集群都是標準的主從架構集群

  • HDFS集群
  • YARN集群

首次啟動HDFS時，必須對其進行格式化操作。
format本質上是初始化工作，進行HDFS清理和準備工作
命令：
hdfs namenode -format
每台機器上每次手動啟動關閉一個角色進程,可以精準控制每個進程啟停，避免群起群停。

  • HDFS集群

hadoop3.x版本命令
hdfs --daemon start|stop namenode|datanode|secondarynamenode

  • YARN集群

hadoop3.x版本命令
yarn --daemon start|stop resourcemanager|nodemanager

shell腳本一鍵啟停

在node1上，使用軟體自帶的shell腳本一鍵啟動。前提：配置好機器之間的SSH免密登錄和
workers文件。

  1. HDFS集群
start-dfs.sh 
stop-dfs.sh
  1. YARN集群
start-yarn.sh
stop-yarn.sh
  1. Hadoop集群
start-all.sh
stop-all.sh

啟動完畢之後可以使用jps命令查看進程是否啟動成功
web界面：

  • HDFS集群：http://namenode_host:9870
  • YARN集群：http://resourcemanager_host:8088

HDFS shell命令：

HDFS Shell CLI支持操作多種文件系統，包括本地文件系統（file:///）、分散式文件系統（hdfs://nn:8020）等
具體操作的是什麼文件系統取決於命令中文件路徑URL中的首碼協議。
如果沒有指定首碼，則將會讀取環境變數中的fs.defaultFS屬性，以該屬性值作為預設文件系統。

hadoop fs -ls file:/// #操作本地文件系統
hadoop fs -ls hdfs://node1:8020/ #操作HDFS分散式文件系統
hadoop fs -ls / #直接根目錄，沒有指定協議 將載入讀取fs.defaultFS值
hadoop fs -mkdir [-p] <path> ... 
path 為待創建的目錄
-p選項的行為與Unix mkdir -p非常相似，它會沿著路徑創建父目錄。
hadoop fs -ls [-h] [-R] [<path> ...]
path 指定目錄路徑
-h 人性化顯示文件size
-R 遞歸查看指定目錄及其子目錄
hadoop fs -put [-f] [-p] <localsrc> ... <dst>
-f 覆蓋目標文件（已存在下）
-p 保留訪問和修改時間，所有權和許可權。
localsrc 本地文件系統（客戶端所在機器）
dst 目標文件系統（HDFS）
hadoop fs -cat <src> ... 
hadoop fs -get [-f] [-p] <src> ... <localdst>
下載文件到本地文件系統指定目錄，localdst必須是目錄
-f 覆蓋目標文件（已存在下）
-p 保留訪問和修改時間，所有權和許可權
hadoop fs -cp [-f] <src> ... <dst>
-f 覆蓋目標文件（已存在下）
hadoop fs -appendToFile <localsrc> ... <dst>
將所有給定本地文件的內容追加到給定dst文件。
dst如果文件不存在，將創建該文件。
如果<localSrc>為-，則輸入為從標準輸入中讀取。
hadoop fs -mv <src> ... <dst>
移動文件到指定文件夾下
可以使用該命令移動數據，重命名文件的名稱

HDFS

文件系統與分散式文件系統，HDFS簡介，HDFS重要特性等

HDFS簡介
HDFS主要是解決大數據如何存儲問題的。分散式意味著是HDFS是橫跨在多台電腦上的存儲系統。
HDFS是一種能夠在普通硬體上運行的分散式文件系統，它是高度容錯的，適應於具有大數據集的應用程式，它非
常適於存儲大型數據 (比如 TB 和 PB)。
HDFS使用多台電腦存儲文件, 並且提供統一的訪問介面, 像是訪問一個普通文件系統一樣使用分散式文件系統

整體概述

  • 主從架構

HDFS集群是標準的master/slave主從架構集群。
一般一個HDFS集群是有一個Namenode和一定數目的Datanode組成。
Namenode是HDFS主節點，Datanode是HDFS從節點，兩種角色各司其職，共同協調完成分散式的文件存儲服
務。
官方架構圖中是一主五從模式，其中五個從角色位於兩個機架（Rack）的不同伺服器上。

  • 分塊存儲

HDFS中的文件在物理上是分塊存儲（block）的，預設大小是128M（134217728），不足128M則本身就是一塊
塊的大小可以通過配置參數來規定，參數位於hdfs-default.xml中：dfs.blocksize。

  • 副本機制

文件的所有block都會有副本。副本繫數可以在文件創建的時候指定，也可以在之後通過命令改變
副本數由參數dfs.replication控制，預設值是3，也就是會額外再複製2份，連同本身總共3份副本

  • 元數據記錄

在HDFS中，Namenode管理的元數據具有兩種類型：

  1. 文件自身屬性信息
    文件名稱、許可權，修改時間，文件大小，複製因數，數據塊大小。
  2. 文件塊位置映射信息
    記錄文件塊和DataNode之間的映射信息，即哪個塊位於哪個節點上。
  • 抽象統一的目錄樹結構（namespace）

HDFS集群角色與職責
namenode職責

  • NameNode僅存儲HDFS的元數據：文件系統中所有文件的目錄樹，並跟蹤整個集群中的文件，不存儲實際數據。
  • NameNode知道HDFS中任何給定文件的塊列表及其位置。使用此信息NameNode知道如何從塊中構建文件。
  • NameNode不持久化存儲每個文件中各個塊所在的datanode的位置信息，這些信息會在系統啟動時從DataNode
  • 重建。
  • NameNode是Hadoop集群中的單點故障。
  • NameNode所在機器通常會配置有大量記憶體（RAM）。

datanode職責

  • DataNode負責最終數據塊block的存儲。是集群的從角色，也稱為Slave。
  • DataNode啟動時，會將自己註冊到NameNode並彙報自己負責持有的塊列表。
  • 當某個DataNode關閉時，不會影響數據的可用性。 NameNode將安排由其他DataNode管理的塊進行副本複製
  • DataNode所在機器通常配置有大量的硬碟空間，因為實際數據存儲在DataNode中。

寫數據完整流程：

  • 通過pipeline管道客戶端將數據塊寫入第一個數據節點，第一個數據節點保存數據之後再將塊複製到第二個數據節點，後者保存後將
    其複製到第三個數據節點。使用反方向ack校驗，預設3副本策略。

YARN

YARN功能說明

  • 資源管理系統：集群的硬體資源，和程式運行相關，比如記憶體、CPU等。
  • 調度平臺：多個程式同時申請計算資源如何分配，調度的規則（演算法）。
  • 通用：不僅僅支持MapReduce程式，理論上支持各種計算程式。YARN不關心你乾什麼，只關心你要資源，在有的情況下給你，用完之後還我。

YARN概述

  • 可以把Hadoop YARN理解為相當於一個分散式的操作系統平臺，而MapReduce等計算程式則相當於運行於操作系統之上的應用程式，YARN為這些程式提供運算所需的資源（記憶體、CPU等）。
  • Hadoop能有今天這個地位，YARN可以說是功不可沒。因為有了YARN ，更多計算框架可以接入到 HDFS中，而不單單是 MapReduce，正是因為YARN的包容，使得其他計算框架能專註於計算性能的提升。
  • HDFS可能不是最優秀的大數據存儲系統，但卻是應用最廣泛的大數據存儲系統， YARN功不可沒

YARN3大組件

  • ResourceManager（RM）

YARN集群中的主角色，決定系統中所有應用程式之間資源分配的最終許可權，即最終仲裁者。
接收用戶的作業提交，並通過NM分配、管理各個機器上的計算資源。

  • NodeManager（NM）

YARN中的從角色，一臺機器上一個，負責管理本機器上的計算資源。
根據RM命令，啟動Container容器、監視容器的資源使用情況。並且向RM主角色彙報資源使用情況。

  • ApplicationMaster（AM）

用戶提交的每個應用程式均包含一個AM。
應用程式內的“老大”，負責程式內部各階段的資源申請，監督程式的執行情況

核心交互流程

  • MR作業提交 Client-->RM
  • 資源的申請 MrAppMaster-->RM
  • MR作業狀態彙報 Container（Map|Reduce Task）-->Container（MrAppMaster）
  • 節點的狀態彙報 NM-->RM

YARN資源調度器Scheduler

在理想情況下，應用程式提出的請求將立即得到YARN批准。但是實際中，資源是有限的，並且在繁忙的群集上，應用程式通常將需要等待其某些請求得到滿足。YARN調度程式的工作是根據一些定義的策略為應用程式分配資源。
在YARN中，負責給應用分配資源的就是Scheduler，它是ResourceManager的核心組件之一。Scheduler完全專用於調度作業，它無法跟蹤應用程式的狀態

三種調度器

  • FIFO Scheduler（先進先出調度器）

FIFO Scheduler是一個先進先出的思想，即先提交的應用先運行。調度工作不考慮優先順序和範圍，適用於負載較低的小規模集群。當使用大型共用集群時，它的效率較低且會導致一些問題

  • Capacity Scheduler（容量調度器）

Capacity Scheduler容量調度是Apache Hadoop3.x預設調度策略。該策略允許多個組織共用整個集群資源，每個組織可以獲得集群的一部分計算能力。通過為每個組織分配專門的隊列，然後再為每個隊列分配一定的集群資源，這樣整個集群就可以通過設置多個隊列的方式給多個組織提供服務了

  • Fair Scheduler（公平調度器）

Fair Scheduler叫做公平調度，提供了YARN應用程式公平地共用大型集群中資源的另一種方式。使所有應用在平均情況下隨著時間的流逝可以獲得相等的資源份額

MapReduce

Hadoop MapReduce是一個分散式計算框架，用於輕鬆編寫分散式應用程式，這些應用程式以可靠，容錯的方式並行處理大型硬體集群（數千個節點）上的大量數據（多TB數據集）。
MapReduce是一種面向海量數據處理的一種指導思想，也是一種用於對大規模數據進行分散式計算的編程模型。

WordCount編程實現思路

  • map階段的核心：把輸入的數據經過切割，全部標記1，因此輸出就是<單詞，1>。
  • shuffle階段核心：經過MR程式內部自帶預設的排序分組等功能，把key相同的單詞會作為一組數據構成新的kv對。
  • reduce階段核心：處理shuffle完的一組數據，該組數據就是該單詞所有的鍵值對。對所有的1進行累加求和，就是單詞的總次數

例子：WordCount程式提交
上傳課程資料中的文本文件1.txt到HDFS文件系統的/input目錄下，如果沒有這個目錄，使用shell創建

hadoop fs -mkdir /input
hadoop fs -put 1.txt /input

準備好之後，執行官方MapReduce實例，對上述文件進行單詞次數統計
第一個參數：wordcount表示執行單詞統計任務；
第二個參數：指定輸入文件的路徑；
第三個參數：指定輸出結果的路徑（該路徑不能已存在）

[root@node1 mapreduce]# pwd
/export/server/hadoop-3.3.0/share/hadoop/mapreduce
[root@node1 mapreduce]# hadoop jar hadoop-mapreduce-examples-3.3.0.jar wordcount 
/input /output

您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 0002 嵌入式開髮帶你從小白到大佬系列之——Linux文件系統、常用文件操作命令（一）及用戶許可權
    #1、熟悉Linux的文件系統結構 Linux的文件系統結構其實是一個樹形的分層組織結構，如下圖： Linux系統目錄結構及目錄路徑： ##1.1、文件系統層次結構標準 Linux是開源的操作系統，各個Linux發行機構都可以按照自己的需求對Linux系統的文件系統進行相應的裁剪，所以各個Linux ...
  • 0001 嵌入式開髮帶你從小白到大佬系列之——Linux開發環境搭建—Windows-VMware-Ubuntu環境配置
    如文章標題，我們安裝的Linux開發環境是**：Windows-VMware-Ubuntu環境** 配置，即在windows系統下安裝VMware虛擬機，之後在VMware中配置安裝Linux系統的常用發行版——Ubuntu系統。 沒有在一臺伺服器或者一臺電腦上直接安裝linux系統（比如直接主機安 ...
  • 概念：四種基於模型的嵌入式軟體開發、測試與驗證方法
    ​ 嵌入式軟體（如航空電子和汽車系統）的設計、開發、測試和驗證正變得越來越複雜。傳統的文檔驅動式環境中，一旦開發人員之間缺乏協調，軟體程式生命周期的質量和成本就會受到嚴重影響，顯然已經無法應對日益複雜的嵌入式軟體生產。 正確使用基於模型的設計（Model-Based Design，以下簡稱MBD）方 ...
  • Linux許可權掌控
    無論是Window，MacOs，Linux均採用多用戶的管理模式進行許可權管理。 在Linux系統中，擁有最大許可權的賬戶名為：root（超級管理員）。 root用戶擁有最大的系統操作許可權，而普通用戶在許多地方的許可權是受限的。 普通用戶一般在HOME目錄是不受限制的，一旦出了HOME目錄，大多地方，僅有 ...
  • 05-Esp8266物聯網晶元的使用（一）-part01-ESP8266引腳
    主要內容 晶元介紹 開發環境 編程舉例 晶元介紹 什麼是NodeMCU？ NodeMCU,是一個開源的物聯網平臺。 它使用Lua腳本語言編程。該平臺基於eLua 開源項目,底層使用ESP8266 sdk 0.9.5版本。該平臺使用了很多開源項目, 例如 lua-cjson, spiffs. Node ...
  • 面試題百日百刷-HBase HRegionServer宕機如何處理
    鎖屏面試題百日百刷，每個工作日堅持更新面試題。鎖屏面試題app、小程式現已上線，官網地址：https://www.demosoftware.cn。已收錄了每日更新的面試題的所有內容，還包含特色的解鎖屏幕複習面試題、每日編程題目郵件推送等功能。讓你在面試中先人一步!接下來的是今日的面試題： 1.HBa ...
  • mysql+navicat安裝配置教程
    一、MySQLl和Navicat的關係 Mysql一個關係型資料庫管理系統，由瑞典MysqlLAB公司開發，目前屬於Oracle旗下產品，是目前最流行的關心型資料庫管理系統之一。 Navicat一個資料庫管理工具，用可視化界面提供給用戶操作Mysql資料庫管理系統。 記得我第一次安裝Navicat之 ...
  • 詳解 Flink Catalog 在 ChunJun 中的實踐之路
    我們知道 Flink 有Table（表）、View（視圖）、Function（函數/運算元）、Database（資料庫）的概念，相對於這些耳熟能詳的概念，Flink 里還有一個 Catalog（目錄） 的概念。 本文將為大家帶來 Flink Catalog 的介紹以及 Flink Catalog 在 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發（一）：使用.NET MAUI開發第一個安卓APP
    移動開發（一）：使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說，近來想嘗試開發一款安卓APP，考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP，畢竟是使用Visual Studio開發工具，使用起來也比較的順手，結合微軟官方的教程進行了安卓 ...
  • wpf ToggleButton選中效果和一個登錄界面
    前言 QuestPDF 是一個開源 .NET 庫，用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫，它徹底改變了我們生成 PDF 文檔的方 ...
  • 彈幕樹洞項目功能新增篇
    項目地址 項目後端地址： https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址： ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址： http://tree ...
  • 第27篇 sqlserver2022詳細安裝步驟
    話不多說，直接開乾 一.下載 1.官方鏈接下載： https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe，運行開始下載SQL server； 二. ...
  • .NET 開源高性能 MQTT 類庫
    前言 隨著物聯網（IoT）技術的迅猛發展，MQTT（消息隊列遙測傳輸）協議憑藉其輕量級和高效性，已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫，為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog文檔翻譯系列（六） - 可用的接收器、增強器、格式化輸出
    Serilog支持多種接收器用於日誌存儲，增強器用於添加屬性，LogContext管理動態屬性，支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項，適用於不同需求。 ...
  • 警惕 Visual Studio 屬性求值副作用導致邏輯不符合預期
    目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據，爬取信息時需要模擬瀏覽器行為，否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下： 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • [使用目前最新版]HybridCLR6.9.0+YooAsset2.2.4實現純C# Unity熱更新方案 (一)
    1.前言 什麼是熱更新 游戲或者軟體更新時，無需重新下載客戶端進行安裝，而是在應用程式啟動的情況下，在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR，Xlua，ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles，Addressable， ...
  • 在 ASP.NET Core Web API 中使用操作篩選器統一處理通用操作
    本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺，其實像阿裡雲，騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後，它會送 ...
  • 第28篇 如何.net中實現高效可靠數據同步api
    通過以下方式可以高效，並保證數據同步的可靠性 1.API設計 使用RESTful設計，確保API端點明確，並使用適當的HTTP方法（如POST用於創建，PUT用於更新）。 設計清晰的請求和響應模型，以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證，確保接收到的數據符合預期格 ...
所有分類