hive on spark記憶體模型

来源:https://www.cnblogs.com/lhk20213937/p/18136064
-Advertisement-
Play Games

內容介紹 hive on spark的調優,那必然涉及到這一系列框架的記憶體模型。本章就是來講一下這些框架的記憶體模型。 hive on spark的任務，從開始到結束。總共涉及了3個框架。分別是：yarn、hive、spark 其中，hive只是一個客戶端的角色。就不涉及任務運行時的記憶體。所以這裡主要 ...


內容介紹

hive on spark的調優,那必然涉及到這一系列框架的記憶體模型。本章就是來講一下這些框架的記憶體模型。
hive on spark的任務，從開始到結束。總共涉及了3個框架。分別是：yarn、hive、spark
其中，hive只是一個客戶端的角色。就不涉及任務運行時的記憶體。所以這裡主要講的yarn和spark的記憶體模型。
其中，由於spark是運行在yarn的container中。所以我們從外到內。先將yarn的資源分配。後講spark的記憶體模型。

hive on spark提交流程

hive階段

首先上場的是hive框架。當我們寫了一個SQL語句的時候，會被hive進行解析（hive用的SQL解析框架是Antlr4）。解析的流程是：

  • 解析器將SQL解析成AST（抽象語法樹）
  • 邏輯生成器
  • 邏輯優化器 (這裡主要做一些謂詞下推的操作)
  • 物理生成器
  • 物理優化器(這裡則是做基於代價的優化，簡稱CBO)
  • 執行器 (在這裡就會將Spark任務提交給yarn)
    這裡是進行物理優化器的地方，可以看見，從這裡開始，就已經根據引擎的不同，進行不同的優化了。
    img
    此處就是執行器
    img
    我們進去之後就可以看見 提交Spark任務
    img
    我們可以在這裡看見，把job上傳到yarn上，並且添加了一些監聽器來獲取job的狀態
    img

這樣之後，SQL就會被轉為Spark一系列的RDD。

yarn資源

在hive中，我們已經把spark job提交到yarn上面。現在我們就來看一下yarn的記憶體模型。

yarn的組成很簡單，有ResourceManager和NodeManager，其中ResourceManager是大哥。對客戶端傳來的請求做處理。NodeManager是小弟。負責運行任務。
就此而言，我們就可以做出一個簡單的判斷：對於資源（記憶體和CPU）的分配，我們要多給NodeManager資源。ResourceManager無需很多的資源。因為ResourceManager僅僅是處理客戶端的請求和管理NodeManager。並不進行任務的計算。
NodeManager裡面是很多的Container，我們的Spark任務就是跑在Container裡面的。

yarn中關於資源的參數

由於spark任務是跑在NodeManager下的Container中。所以我們可以對NodeManager和Contaniner進行參數的調整（資源的配置）

NodeManager的參數
  • yarn.nodemanager.resource.memory-mb : NodeManager可以給Container分配記憶體
  • yarn.nodemanager.resource.cpu-vcores ：NodeManager可以給Container分配的虛擬核數（因為不同的CPU可能計算能力不同。有可能一個i7的CPU頂兩個i5的。所以就可以把i7的cpu映射為兩個虛擬核。這樣的話，就不會出現因為CPU的差異，而導致的：相同的任務跑多次。每次所耗的時間相差特別大。）
Container的參數
  • yarn.scheduler.maximum-allocation-mb ： 單個Container可以使用的最大記憶體
  • yarn.scheduler.minimum-allocation-mb ： 單個Container可以使用的最小記憶體

Spark資源

Spark的記憶體模型可以大致分為堆內記憶體和堆外記憶體
img

堆內記憶體

img
動態占用機制：簡單的來說，

  • 當存儲和執行的記憶體都不足時。存儲會存放到硬碟。
  • 當存儲占用了執行的記憶體後，執行想收回記憶體時。存儲會將占用的部分轉存到硬碟。歸還記憶體
  • 當執行占用了存儲的記憶體後，存儲想收回記憶體時，執行無法歸還記憶體。需要等到執行使用完畢，才可以歸還記憶體。（朴素的想一想，比較計算重要。不能停止，只好讓存儲等一等。等執行計算完畢，再歸還記憶體）

堆外記憶體

img

在預設情況下，堆外記憶體並不啟用。可以通過spark.memory.offHeap.enabled開啟。
堆外記憶體的大小由spark.memory.offHeap.size指定。
堆外記憶體的優點：

  • Spark直接操作系統堆外記憶體，減少了不必要的記憶體開銷，和頻繁的GC的掃描和回收，提高了性能
  • 可以被精準的申請和釋放。（因為堆內記憶體是由JVM管理的。所以無法實現精準的釋放）

整合yarn和Spark

我們先對一臺伺服器的資源配置做出假設，並根據這些假設，對資源進行合理的分配。

伺服器的資源情況： 32核CPU，128G記憶體

因為我們的伺服器不可能只是為yarn一個框架提供資源。其他的框架也需要資源。所以我們可用分配給yarn的資源為：16核CPU，64G記憶體

Spark任務分為Driver和Executor。

Executor

由於 Spark 的Executor的CPU建議數量是4~6個。 然後伺服器中yarn可用的CPU資源數是16。

16/4=4;16/5=3...1;16/6=2...4;可以看出。單個Executor的CPU核數為5、6的時候，都會有一些CPU核未使用上，造成CPU的浪費。所以我們選取 單個Executor的CPU核數為4。然後我們根據1CU原則（1個CPU對應4G記憶體）。所以Executor的記憶體數為4*4G。

單個Executo資源情況： 4核CPU，16G記憶體。

根據資源的配置情況可知， 一個節點能運行的Executo數量為 4

這樣，我們對於單個Executor 的資源分配好了。我們再來看Executor內部的記憶體分配。

由上面的Spark的記憶體模型可知。Spark的記憶體分為堆內和堆外記憶體。在預設情況下 堆外記憶體=堆內記憶體0.1 (spark.executor.memoryOverhead=spark.executor.memory0.1)
所以簡單的計算一下就可知：

  • spark.executor.memoryOverhead=$\frac{1}{11}*16G(單個Executor的可用的總記憶體)$
  • spark.executor.memory=$\frac{10}{11}*16G(單個Executor的可用總記憶體)$

當然，很多情況下這個結果都不是整數。所以計算出結果後，再進行一些個人的調整就好。

在這裡Executor內部實際的記憶體分配情況如下：

spark.executor.memoryOverhead=2G

spark.executor.memory=14G

到這裡，我們給各個組件的資源就已經分配完畢了。
下麵我們來從Spark任務的角度談一下，一個Spark任務，應該使用多少個Executor合適。

對於一個Spark任務的Executor數量，有靜態分配和動態分配兩種選擇。
我們當然是選擇動態分配。（因為靜態分配相比於動態分配，更容易造成資源的浪費或者Spark任務資源的不足。）

動態分配： 根據Spark任務的工作負載，可用動態的調整所占用的資源（Executor的數量）。需要時申請，不需要時釋放。下麵是動態分配的一些參數的設置

#啟動動態分配
spark.dynamicAllocation.enabled    true
#啟用Spark shuffle服務
spark.shuffle.service.enabled    true
#Executor個數初始值
spark.dynamicAllocation.initialExecutors    1
#Executor個數最小值
spark.dynamicAllocation.minExecutors    1
#Executor個數最大值
spark.dynamicAllocation.maxExecutors    12
#Executor空閑時長，若某Executor空閑時間超過此值，則會被關閉
spark.dynamicAllocation.executorIdleTimeout    60s
#積壓任務等待時長，若有Task等待時間超過此值，則申請啟動新的Executor
spark.dynamicAllocation.schedulerBacklogTimeout    1s
#spark shuffle老版本協議
spark.shuffle.useOldFetchProtocol true

$\color{ForestGreen}{為什麼啟動Spark的shuffle}$：作用是將map的輸出文件落盤。供後續的reduce使用。

$\color{ForestGreen}{為什麼落盤}$：因為如果map的輸出的文件不落盤。map就不會被釋放。也就無法釋放這個空閑的Executor。只有將輸出文件落盤後，這個Executor才會被釋放。

Driver

Driver主要的配置參數有spark.driver.memory和spark.driver.memoryOverhead。

此處spark.driver.memory和spark.driver.memoryOverhead的分配的記憶體比例和Executor一樣。都是spark.driver.memoryOverhead=spark.driver.memory*0.1

對於Driver的總記憶體，有一個經驗公式：（假定yarn.nodemanager.resource.memory-mb設為$X$）

  • 若$X>50G$，則Driver設為12G
  • 若$12G<X<50G$，則Driver設為4G
  • 若$1G<X<12G$，則Driver設為1G

因為我們的yarn.nodemanager.resource.memory-mb=64G。所以：

  • spark.driver.memory = 10G
  • spark.driver.memoryOverhead = 2G

配置文件的設置

spark-defaults.conf

配置文件的位置：$HivE_HOME/conf/spark-defaults.conf

由於我們多個節點有Spark。所以可能會有一些疑問：$\color{ForestGreen}{這麼多Spark，這麼多配置文件，究竟是Spark任務運行的節點 的配置文件生效呢？還是Hive目錄下的配置文件生效呢？}$
答案：當然是Hive目錄下的配置文件生效。如果我們瞭解過Spark的任務提交流程就知道。當我們運行了一條命令行後。Spark-submit會解析參數。然後再向yarn提交請求。

spark.master                               yarn
spark.eventLog.enabled                   true
spark.eventLog.dir    hdfs://myNameService1/spark-history
spark.executor.cores    4
spark.executor.memory    14g
spark.executor.memoryOverhead    2g
spark.driver.memory    10g
spark.driver.memoryOverhead    2g
spark.dynamicAllocation.enabled  true
spark.shuffle.service.enabled  true
spark.dynamicAllocation.executorIdleTimeout  60s
spark.dynamicAllocation.initialExecutors    1
spark.dynamicAllocation.minExecutors  1
spark.dynamicAllocation.maxExecutors  12
spark.dynamicAllocation.schedulerBacklogTimeout 1s
spark.shuffle.useOldFetchProtocol    true

spark-shullfe

Spark的shullfe會因為Cluster Manager（standalone、Mesos、Yarn）的不同而不同。
此處我們是yarn。

步驟如下：

  • 拷貝$SPARK_HOME/yarn/spark-3.0.0-yarn-shuffle.jar到$HADOOP_HOME/share/hadoop/yarn/lib
  • 向集群分發$HADOOP_HOME/share/hadoop/yarn/lib/spark-3.0.0-yarn-shuffle.jar
  • 修改$HADOOP_HOME/etc/hadoop/yarn-site.xml
<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle,spark_shuffle</value>
</property>

<property>
    <name>yarn.nodemanager.aux-services.spark_shuffle.class</name>
    <value>org.apache.spark.network.yarn.YarnShuffleService</value>
</property>
  • 分發$HADOOP_HOME/etc/hadoop/yarn-site.xml
  • 重啟yarn

您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • MySQL 8.0 Reference Manual（讀書筆記41節-- Data Types(3)）
    在實際項目中，從Kafka到HDFS的數據是每天自動生成一個文件，按日期區分。而且Kafka在不斷生產數據，因此看看kettle是不是需要時刻運行？能不能按照每日自動生成數據文件？ 為了測試實際項目中的海豚定時調度從Kafka到HDFS的Kettle任務情況，特地提前跑一下海豚定時調度這個任務，看看 ...
  • 這篇 DolphinScheduler on k8s 雲原生部署實踐，值得所有大數據人看！
    在當前快速發展的技術格局中，企業尋求創新解決方案來簡化運營並提高效率成為一種趨勢。 Apache DolphinScheduler作為一個強大的工具，允許跨分散式系統進行複雜的工作流任務調度。本文將深入探討如何將Apache DolphinScheduler適配並整合進現代IT環境，提升其在雲原生部 ...
  • 達夢資料庫-初步學習
    本文分享自華為雲社區《DTC2024，華為雲資料庫創新融合大發展，打造世界級資料庫！》，作者：GaussDB 資料庫。 4月12日-13日，以“智能·雲原生·一體化——DB與Al協同創新，模型與架構融合發展”為主題的第十三屆數據技術嘉年華(DTC 2024)在北京新雲南皇冠假日酒店成功舉行。作為本次 ...
  • GreatSQL優化技巧：半連接(semijoin)優化
    何為半連接？ 半連接是在GreatSQL內部採用的一種執行子查詢的方式，semi join不是語法關鍵字，不能像使用inner join、left join、right join這種語法關鍵字一樣提供給用戶來編寫SQL語句。 兩個表t1表和t2表進行半連接的含義是：對於t1表的某條記錄來說，我們只關 ...
  • MySQL 8.0 Reference Manual（讀書筆記40節-- Data Types(2)）
    版本說明 由於作者目前接觸當前最新版本為2.3.4 但是官方提供的web版本未1.0.0，不相容2.3.4，因此這裡仍然使用2.3.3版本。 可以自定義相容處理，官方提供了文檔：https://mp.weixin.qq.com/s/Al1VmBoOKu2P02sBOTB6DQ 因為大部分用戶使用Se ...
  • redis哨兵模式的原理及部署
    目錄一、什麼是哨兵模式1、為什麼需要哨兵機制2、哨兵架構拓撲3、Redis Sentinel的功能：二、搭建哨兵架構1、涉及主機2、拓撲結構3、設置一主兩從4、master伺服器狀態5、編輯哨兵的配置文件6、啟動哨兵7、驗證哨兵埠8、查看哨兵日誌9、驗證當前sentinel狀態三、故障轉移1、re ...
  • 天翼雲入選“2023年度數據要素價值創新標桿示範案例”！
    近日，由新一代信息技術產業研究院、賽迪未來產業研究中心共同主辦，中國電子學會區塊鏈分會、至頂科技聯合承辦的“2024未來信息技術大會暨首屆數據要素創新發展論壇”於北京成功舉辦。大會公佈了“2023年度數據要素價值創新標桿示範案例”評選結果，天翼雲“海南省數據產品超市公共數據資源開發利用平臺”與“福州... ...
  • 裁員了！別錯過2024年大數據工程師必備的10項技能
    在當今快速發展的世界中，數據被視為新的石油。隨著對數據驅動洞察的日益依賴，大數據工程師的角色比以往任何時候都更為關鍵。 這些專業人員在管理和優化組織內的數據操作中扮演著至關重要的角色。在本文中，我們將探索2024年大數據工程師必須具備的十項技能。 理解大數據工程師的角色 在深入技能之前，瞭解大數據工 ...
一周排行
    -Advertisement-
    Play Games
  • GoF之工廠模式
    GoF之工廠模式 @目錄GoF之工廠模式每博一文案1. 簡單說明“23種設計模式”1.2 介紹工廠模式的三種形態1.3 簡單工廠模式（靜態工廠模式）1.3.1 簡單工廠模式的優缺點:1.4 工廠方法模式1.4.1 工廠方法模式的優缺點:1.5 抽象工廠模式1.6 抽象工廠模式的優缺點：2. 總結:3 ...
  • dotnet C# 簡單的追加文件夾到 ZipArchive 壓縮文件的方法
    新改進提供的Taurus Rpc 功能，可以簡化微服務間的調用，同時可以不用再手動輸出模塊名稱，或調用路徑，包括負載均衡，這一切，由框架實現並提供了。新的Taurus Rpc 功能，將使得服務間的調用，更加輕鬆、簡約、高效。 ...
  • Elasticsearch 系列（六）- ES數據同步和ES集群
    本章將和大家分享ES的數據同步方案和ES集群相關知識。廢話不多說，下麵我們直接進入主題。 一、ES數據同步 1、數據同步問題 Elasticsearch中的酒店數據來自於mysql資料庫，因此mysql數據發生改變時，Elasticsearch也必須跟著改變，這個就是Elasticsearch與my ...
  • 自動化測試數據生成：Asp.Net Core單元測試利器AutoFixture詳解
    引言 在我們之前的文章中介紹過使用Bogus生成模擬測試數據，今天來講解一下功能更加強大自動生成測試數據的工具的庫"AutoFixture"。 什麼是AutoFixture? AutoFixture 是一個針對 .NET 的開源庫，旨在最大程度地減少單元測試中的“安排（Arrange）”階段，以提高 ...
  • .NET Emit 入門教程：第七部分：實戰項目1：將 DbDataReader 轉實體
    經過前面幾個部分學習，相信學過的同學已經能夠掌握 .NET Emit 這種中間語言，並能使得它來編寫一些應用，以提高程式的性能。隨著 IL 指令篇的結束，本系列也已經接近尾聲，在這接近結束的最後，會提供幾個可供直接使用的示例，以供大伙分析或使用在項目中。 ...
  • Windows下綁定線程到指定的CPU核心
    當從不同來源導入Excel數據時，可能存在重覆的記錄。為了確保數據的準確性，通常需要刪除這些重覆的行。手動查找並刪除可能會非常耗費時間，而通過編程腳本則可以實現在短時間內處理大量數據。本文將提供一個使用C# 快速查找並刪除Excel重覆項的免費解決方案。 以下是實現步驟： 1. 首先安裝免費.NET ...
  • mORMot 1.18 第07章 簡單的讀寫操作
    C++ 異常處理 C++ 異常處理機制允許程式在運行時處理錯誤或意外情況。它提供了捕獲和處理錯誤的一種結構化方式，使程式更加健壯和可靠。 異常處理的基本概念： 異常: 程式在運行時發生的錯誤或意外情況。 拋出異常: 使用 throw 關鍵字將異常傳遞給調用堆棧。 捕獲異常: 使用 try-catch ...
  • mORMot 1.18 第06章 概念
    優秀且經驗豐富的Java開發人員的特征之一是對API的廣泛瞭解，包括JDK和第三方庫。 我花了很多時間來學習API，尤其是在閱讀了Effective Java 3rd Edition之後 ，Joshua Bloch建議在Java 3rd Edition中使用現有的API進行開發，而不是為常見的東西編 ...
  • php 開發規範
    框架 · 使用laravel框架，原因：tp的框架路由和orm沒有laravel好用 · 使用強制路由，方便介面多時，分多版本，分文件夾等操作 介面 · 介面開發註意欄位類型，欄位是int，查詢成功失敗都要返回int（對接java等強類型語言方便） · 查詢介面用GET、其他用POST 代碼 · 所 ...
  • 2024 年 4 月 28 日 周日 晴 熱（1253 字）
    正文 下午找企業的人去鎮上做貸後。 車上聽同事跟那個司機對罵，火星子都快出來了。司機跟那同事更熟一些，連我在內一共就三個人，同事那一手指桑罵槐給我都聽愣了。司機也是老社會人了，馬上聽出來了，為那個無辜的企業經辦人辯護，實際上是為自己辯護。 “這個事情你不能怪企業。”“但他們總不能讓銀行的人全權負責， ...
所有分類