【斬蟲】Hadoop中作業執行剛開始就掛掉的兩種情況

来源:https://www.cnblogs.com/somebottle/p/18008455/hadoop_job_container_launch_issues
-Advertisement-
Play Games

這篇筆記咱主要記錄了Hadoop執行Job時可能出現的 /bin/java: No such file or directory 以及 java.lang.reflect.InaccessibleObjectException 問題。 ...


開門見山。

最近在搭建基於 Hadoop 3.3.6 的高可用集群時,遇到了雖然守護進程能正常啟動,但是提交 WordCount 示常式序後作業沒有辦法啟動執行的情況(剛開始就掛了),查看日誌發現主要是以下兩種情況:

  1. 提示 /bin/java 文件不存在。

    bash: /bin/java: No such file or directory  
    
  2. 啟動 MRAppMaster 失敗,原因是其拋出了 java.lang.reflect.InaccessibleObjectException 異常。

    java.lang.reflect.InaccessibleObjectException: Unable to make ... accessible: module java.base does not "opens java.lang" to unnamed module @...
    

這裡簡單寫一下二者的解決方法。

1. /bin/java 不存在

javaNotFound-2024-02-05

字面上看是 Bash 找不到可執行文件 /bin/java ,但細想一下,無論是在 hadoop-env.sh 還是 yarn-env.sh 亦或者 yarn-site.xmlyarn.nodemanager.env-whitelist 配置中,我全都加上了 JAVA_HOME 的相關環境變數配置,我在任何地方都沒有寫過 /bin/java 這個路徑,就有點令人匪夷所思了。

但在看了 NodeManager 執行作業時生成的預設容器啟動腳本 launch_container.sh 後就能發現其末尾寫著這樣的語句(這個腳本的位置可以參考下方):

echo "Launching container"
exec /bin/bash -c "$JAVA_HOME/bin/java ... -Xmx1024m org.apache.hadoop.mapreduce.v2.app.MRAppMaster ...

顯而易見,這裡因為 $JAVA_HOME 環境變數沒有傳遞進腳本,導致 bash 實際執行的是 /bin/java


怎麼解決這個問題?最粗暴的方式是直接給 Java 創建一個軟鏈 /bin/java (網上很多複製粘貼的帖子給出的方法),這樣做雖然能跑,但其實沒觸及根本的問題。

還有一種方法是直接在 Hadoop安裝目錄/libexec/hadoop-config.sh 中導出一個 JAVA_HOME 環境變數。(網上的帖子里還有修改這裡某個條件判斷語句的解決方案,但是在 Hadoop 新版中這部分代碼已經重構了)

我真的好想找出問題的根源哇!(╯▔皿▔)╯ 回去檢查配置文件,我也沒看出什麼問題,該配置的都配置了。

到底還是偶然看到的 StackOverflow 的一位老哥點明瞭我(鏈接):

stackoverflow-2024-02-05

“不要在屬性值中換行”

回去檢查了一下我的 yarn-site.xml 配置,發現 VSCode 格式化工具幫我格式化成了這個樣子:

valueWrapped-2024-02-05

去掉開頭的換行符,改成 <value>JAVA_HOME, ...</value> 就能把這個問題給解決了...原來是值中出現額外字元而導致的,哭笑不得。

2. java.lang.reflect.InaccessibleObjectException

reflectException-2024-02-05

reflectException_ex2-2024-02-05

這個異常貼到網上倒是能找到很多類似的解決方案,即加上 Java 選項 --add-opens java.base/java.lang=ALL-UNNAMED ,但大多是圍繞 ResourceManager, NodeManager 啟動時的情況。

問題就在於這裡 MRAppMaster 的啟動參數位於 launch_container.sh 中,因而我需要找到辦法在腳本的這一句中加入 Java 選項:

exec /bin/bash -c "$JAVA_HOME/bin/java ... -Xmx1024m org.apache.hadoop.mapreduce.v2.app.MRAppMaster ...

在官方文檔里按 java opts 這種關鍵詞查了半天沒找著,轉變思路用 MRAppMaster 搜索,還真就給我找著了。在 mapred-site.xml 配置中有這樣一個屬性(文檔鏈接):

屬性名 預設值 說明
yarn.app.mapreduce.am.command-opts -Xmx1024m Java opts for the MR App Master processes....

正好就是 MRAppMaster 進程啟動時的 Java 選項,在 mapred-site.xml 中加入如下屬性配置即可:

<property>
    <name>yarn.app.mapreduce.am.command-opts</name>
    <!--保留了 -Xmx1024 -->
    <value>--add-opens java.base/java.lang=ALL-UNNAMED -Xmx1024m</value>
    <description>MR App Master 進程的 Java 參數</description>
</property>

附: 找到 Job 執行對應容器 (Container) 的執行日誌

首先執行一個作業(Job),然後在集群某台機器中找到其對應的 Application:

# 找到 Job 對應的 Application
yarn application -list -appStates=ALL

返回內容大概是這樣:

Total number of applications (application-types: [], states: [NEW, NEW_SAVING, SUBMITTED, ACCEPTED, RUNNING, FINISHED, FAILED, KILLED] and tags: []):2
                Application-Id	    Application-Name	    Application-Type	      User	     Queue	             State	       Final-State	       Progress	                       Tracking-URL
application_1707118501768_0002	          word count	           MAPREDUCE	      root	   default	          FINISHED	         SUCCEEDED	           100%	http://shworker1:19888/jobhistory/job/job_1707118501768_0002

找到 applicationId 後,查詢這個應用在哪台機器上執行:

yarn application -status application_1707118501768_0002

返回內容大概是這樣:

Application Report : 
	Application-Id : application_1707118501768_0002
	Application-Name : word count
	Application-Type : MAPREDUCE
	User : root
	Queue : default
	Application Priority : 0
	Start-Time : 1707120843501
	Finish-Time : 1707120865825
	Progress : 100%
	State : FINISHED
	Final-State : SUCCEEDED
	Tracking-URL : http://shworker1:19888/jobhistory/job/job_1707118501768_0002
	RPC Port : 42097
	AM Host : shworker1
	Aggregate Resource Allocation : 52071 MB-seconds, 35 vcore-seconds
	Aggregate Resource Preempted : 0 MB-seconds, 0 vcore-seconds
	Log Aggregation Status : DISABLED
	Diagnostics : 
	Unmanaged Application : false
	Application Node Label Expression : <Not set>
	AM container Node Label Expression : <DEFAULT_PARTITION>
	TimeoutType : LIFETIME	ExpiryTime : UNLIMITED	RemainingTime : -1seconds

其中 AM Host 即為應用執行所在主機,這裡是 shworker1

在主機 shworker1 上進入Hadoop的日誌目錄,這個日誌目錄預設是 ${HADOOP_HOME}/logs 。其中會有一個子目錄 userlogs,在這個目錄內你就能找到 application_1707118501768_0002 的 Container 日誌了:

appLogs-2024-02-05


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 大家好,我是你們的老伙計秀才!今天帶來的是[深入淺出Java多線程]系列的第九篇內容:synchronized與鎖。大家覺得有用請點贊,喜歡請關註!秀才在此謝過大家了!!! ...
  • 本文全面深入地探討了對象存儲服務(OSS)的核心技術、基礎知識和高級功能。從媒體存儲到數據備份,再到數據倉庫與數據湖,我們不僅解析了OSS在各種應用場景下的關鍵角色,還深入討論了其與機器學習、多媒體處理以及日誌和監控等多個開發場景的結合。 關註【TechLeadCloud】,分享互聯網架構、雲服務技 ...
  • 通過本文,我們使用Python編寫了一個簡單的日曆程式。在Python官方文檔中,我們找到了一個名為"calendar"的模塊,它可以輕鬆實現一個簡易的日曆,滿足基本需求。此外,我們還介紹了Tkinter和PyQt兩個常用的圖形用戶界面庫,以及borax庫和其他一些開源項目來實現更多功能和用戶體驗的... ...
  • wmproxy wmproxy已用Rust實現http/https代理, socks5代理, 反向代理, 負載均衡, 靜態文件伺服器,websocket代理,四層TCP/UDP轉發,內網穿透等,會將實現過程分享出來,感興趣的可以一起造個輪子 項目地址 國內: https://gitee.com/ti ...
  • 1. 我遇到了什麼問題 我在學習springboot,其中在編寫CRUD時發現訪問數據的函數執行下去返回值是null但是其它部分正常。 下麵是我的錯誤代碼 pojo public class Bot { @TableId(type = IdType.AUTO ) private Integer id ...
  • class_1 什麼是介面? 類就是一種公共介面,公眾(public)是使用類的程式,交互系統由類對象組成,而介面由編寫類的人提供的方法組成。介面讓程式員能夠編寫與類對象交互的代碼,從而讓程式能夠使用類對象。例如,要計算 string 對象中包含多少個字元,您無需打開對象,而只需使用string類提 ...
  • 通過編程實現PDF轉PPT的功能,可以自動化轉換過程,減少手動操作的工作量,並根據需要進行批量轉換。將PDF文件轉換為PPT文檔後,可以利用PPT的豐富功能和動畫效果,達到更好的演示效果。 在Java中,我們可以使用第三方庫Spire.PDF for Java來將PDF轉換為PowerPoint文檔 ...
  • “中國資料庫市場已進入關鍵階段,2024年或是分水嶺!” “目前,國內資料庫產品數量接近300款,我們真的需要這麼多資料庫嗎?”面對這個問題,華為雲資料庫業務CTO蘇光牛不假思索地給出了他的見解: “不僅是中國市場,全球範圍內,也不需要如此多的商業資料庫。” 他進一步預測,隨著市場的自然淘汰,未來三 ...
一周排行
    -Advertisement-
    Play Games
  • 1. 說明 /* Performs operations on System.String instances that contain file or directory path information. These operations are performed in a cross-pla ...
  • 視頻地址:【WebApi+Vue3從0到1搭建《許可權管理系統》系列視頻:搭建JWT系統鑒權-嗶哩嗶哩】 https://b23.tv/R6cOcDO qq群:801913255 一、在appsettings.json中設置鑒權屬性 /*jwt鑒權*/ "JwtSetting": { "Issuer" ...
  • 引言 集成測試可在包含應用支持基礎結構(如資料庫、文件系統和網路)的級別上確保應用組件功能正常。 ASP.NET Core 通過將單元測試框架與測試 Web 主機和記憶體中測試伺服器結合使用來支持集成測試。 簡介 集成測試與單元測試相比,能夠在更廣泛的級別上評估應用的組件,確認多個組件一起工作以生成預 ...
  • 在.NET Emit編程中,我們探討了運算操作指令的重要性和應用。這些指令包括各種數學運算、位操作和比較操作,能夠在動態生成的代碼中實現對數據的處理和操作。通過這些指令,開發人員可以靈活地進行算術運算、邏輯運算和比較操作,從而實現各種複雜的演算法和邏輯......本篇之後,將進入第七部分:實戰項目 ...
  • 前言 多表頭表格是一個常見的業務需求,然而WPF中卻沒有預設實現這個功能,得益於WPF強大的控制項模板設計,我們可以通過修改控制項模板的方式自己實現它。 一、需求分析 下圖為一個典型的統計表格,統計1-12月的數據。 此時我們有一個需求,需要將月份按季度劃分,以便能夠直觀地看到季度統計數據,以下為該需求 ...
  • 如何將 ASP.NET Core MVC 項目的視圖分離到另一個項目 在當下這個年代 SPA 已是主流,人們早已忘記了 MVC 以及 Razor 的故事。但是在某些場景下 SSR 還是有意想不到效果。比如某些靜態頁面,比如追求首屏載入速度的時候。最近在項目中回歸傳統效果還是不錯。 有的時候我們希望將 ...
  • System.AggregateException: 發生一個或多個錯誤。 > Microsoft.WebTools.Shared.Exceptions.WebToolsException: 生成失敗。檢查輸出視窗瞭解更多詳細信息。 內部異常堆棧跟蹤的結尾 > (內部異常 #0) Microsoft ...
  • 引言 在上一章節我們實戰了在Asp.Net Core中的項目實戰,這一章節講解一下如何測試Asp.Net Core的中間件。 TestServer 還記得我們在集成測試中提供的TestServer嗎? TestServer 是由 Microsoft.AspNetCore.TestHost 包提供的。 ...
  • 在發現結果為真的WHEN子句時,CASE表達式的真假值判斷會終止,剩餘的WHEN子句會被忽略: CASE WHEN col_1 IN ('a', 'b') THEN '第一' WHEN col_1 IN ('a') THEN '第二' ELSE '其他' END 註意: 統一各分支返回的數據類型. ...
  • 在C#編程世界中,語法的精妙之處往往體現在那些看似微小卻極具影響力的符號與結構之中。其中,“_ =” 這一組合突然出現還真不知道什麼意思。本文將深入剖析“_ =” 的含義、工作原理及其在實際編程中的廣泛應用,揭示其作為C#語法奇兵的重要角色。 一、下劃線 _:神秘的棄元符號 下劃線 _ 在C#中並非 ...