spark利用yarn提交任務報:YARN application has exited unexpectedly with state UNDEFINED

来源:https://www.cnblogs.com/osyun/archive/2019/11/21/11906693.html
-Advertisement-
Play Games

spark用yarn提交任務會報ERROR cluster.YarnClientSchedulerBackend: YARN application has exited unexpectedly with state UNDEFINED! Check the YARN application lo ...


spark用yarn提交任務會報
ERROR cluster.YarnClientSchedulerBackend: YARN application has exited unexpectedly with state UNDEFINED! Check the YARN application logs for more details.
ERROR cluster.YarnClientSchedulerBackend: Diagnostics message: Shutdown hook called before final status was reported.

只需要將hadoop集群的yarn-site.xml配置中加入如下兩行即可解決:

<property>
    <name>yarn.nodemanager.pmem-check-enabled</name>
    <value>false</value>
</property>
<property>
    <name>yarn.nodemanager.vmem-check-enabled</name>
    <value>false</value>
</property>

如果你用的java8,則多會報此錯誤。


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 子查詢 子查詢是一種常用電腦語言SELECT SQL語言中嵌套查詢下層的程式模塊。當一個查詢是另一個查詢的條件時,稱之為子查詢。 表就不發出來了,將就著看叭,主要是表我找不到了是哪一個了。 ...
  • 排序 排序方式: 升序——asc(預設:從小到大) 降序——desc(由大到小) limit 分頁 ...
  • 基本語法&&操作語句 create(創建) alter(更新) drop(刪除) 一次性刪除一個表中所有的數據 包括日誌 truncate table 表名; 選中或者使用該資料庫 說明接下來的操作都是針對該資料庫進行 use 資料庫名稱 創建 更改 刪除 添加 查詢 ...
  • 註釋 數據類型 1.整形 ​ tinyint、smallint、mediumint、int、bigint ​ 小整數值 大整數值 大整數值 大整數值 極大整數值 2.浮點型 ​ float、double 3.小數型 ​ decimal (常用:保證數據不丟失) ​ 如:100.32 》decimal ...
  • 摘要: 下文講述case when中多條件的編寫方法,如下所示: 實驗環境:sql server 2008 R2 case when 多條件編寫方法 case when多條件編寫語法: case when 條件1 and 條件2 then '1' when 條件1 and 條件2 then '1' ...
  • 服務啟動 在命令提示符中 啟動mysql服務 net start mysql 停止mysql服務 net sotp mysql 通過命令行進入 mysql u 用戶名 p 鍵入後會提示輸入密碼 如果不能進入資料庫就使用絕對路勁或者配置環境變數 查看資料庫 show databases; 查看表: s ...
  • 基本定義 數據:是資料庫總存儲的基本對象 定義:描述客觀事物的符號記錄 種類:數字、文字、圖形、圖像、聲音等 資料庫:DB 存儲數據的集合 資料庫管理系統:DBMS 用戶和操作系統之間的一層數據管理軟體 科學地組織和存儲數據、高效地獲取和維護數據 資料庫系統:DBS 電腦系統中引入資料庫後的系統 ...
  • redis是一個key-value存儲系統。和Memcached類似,它支持存儲的value類型相對更多,包括string(字元串)、list(鏈表)、set(集合)、zset(sorted set --有序集合)和hash(哈希類型)。這些數據類型都支持push/pop、add/remove及取交 ...
一周排行
    -Advertisement-
    Play Games
  • Timer是什麼 Timer 是一種用於創建定期粒度行為的機制。 與標準的 .NET System.Threading.Timer 類相似,Orleans 的 Timer 允許在一段時間後執行特定的操作,或者在特定的時間間隔內重覆執行操作。 它在分散式系統中具有重要作用,特別是在處理需要周期性執行的 ...
  • 前言 相信很多做WPF開發的小伙伴都遇到過表格類的需求,雖然現有的Grid控制項也能實現,但是使用起來的體驗感並不好,比如要實現一個Excel中的表格效果,估計你能想到的第一個方法就是套Border控制項,用這種方法你需要控制每個Border的邊框,並且在一堆Bordr中找到Grid.Row,Grid. ...
  • .NET C#程式啟動閃退,目錄導致的問題 這是第2次踩這個坑了,很小的編程細節,容易忽略,所以寫個博客,分享給大家。 1.第一次坑:是windows 系統把程式運行成服務,找不到配置文件,原因是以服務運行它的工作目錄是在C:\Windows\System32 2.本次坑:WPF桌面程式通過註冊表設 ...
  • 在分散式系統中,數據的持久化是至關重要的一環。 Orleans 7 引入了強大的持久化功能,使得在分散式環境下管理數據變得更加輕鬆和可靠。 本文將介紹什麼是 Orleans 7 的持久化,如何設置它以及相應的代碼示例。 什麼是 Orleans 7 的持久化? Orleans 7 的持久化是指將 Or ...
  • 前言 .NET Feature Management 是一個用於管理應用程式功能的庫,它可以幫助開發人員在應用程式中輕鬆地添加、移除和管理功能。使用 Feature Management,開發人員可以根據不同用戶、環境或其他條件來動態地控制應用程式中的功能。這使得開發人員可以更靈活地管理應用程式的功 ...
  • 在 WPF 應用程式中,拖放操作是實現用戶交互的重要組成部分。通過拖放操作,用戶可以輕鬆地將數據從一個位置移動到另一個位置,或者將控制項從一個容器移動到另一個容器。然而,WPF 中預設的拖放操作可能並不是那麼好用。為瞭解決這個問題,我們可以自定義一個 Panel 來實現更簡單的拖拽操作。 自定義 Pa ...
  • 在實際使用中,由於涉及到不同編程語言之間互相調用,導致C++ 中的OpenCV與C#中的OpenCvSharp 圖像數據在不同編程語言之間難以有效傳遞。在本文中我們將結合OpenCvSharp源碼實現原理,探究兩種數據之間的通信方式。 ...
  • 一、前言 這是一篇搭建許可權管理系統的系列文章。 隨著網路的發展,信息安全對應任何企業來說都越發的重要,而本系列文章將和大家一起一步一步搭建一個全新的許可權管理系統。 說明:由於搭建一個全新的項目過於繁瑣,所有作者將挑選核心代碼和核心思路進行分享。 二、技術選擇 三、開始設計 1、自主搭建vue前端和. ...
  • Csharper中的表達式樹 這節課來瞭解一下表示式樹是什麼? 在C#中,表達式樹是一種數據結構,它可以表示一些代碼塊,如Lambda表達式或查詢表達式。表達式樹使你能夠查看和操作數據,就像你可以查看和操作代碼一樣。它們通常用於創建動態查詢和解析表達式。 一、認識表達式樹 為什麼要這樣說?它和委托有 ...
  • 在使用Django等框架來操作MySQL時,實際上底層還是通過Python來操作的,首先需要安裝一個驅動程式,在Python3中,驅動程式有多種選擇,比如有pymysql以及mysqlclient等。使用pip命令安裝mysqlclient失敗應如何解決? 安裝的python版本說明 機器同時安裝了 ...