org.apache.hadoop.security.AccessControlException

来源:http://www.cnblogs.com/scl1314/archive/2017/09/08/7495155.html
-Advertisement-
Play Games

在hdfs集群上,需要向Hdfs寫入文件,控制台會輸出以下錯誤信息: Caused by: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.security.AccessControlException): Permission den ...


在hdfs集群上,需要向Hdfs寫入文件,控制台會輸出以下錯誤信息:

Caused by: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.security.AccessControlException): Permission denied: user=Administrator, access=WRITE, inode="/user":root:supergroup:drwxr-xr-x

  • 1

從中很容易看出是因為當前執行的用戶沒有Hdfs“/user”目錄的寫入許可權。這個問題無論是在Windows下還是Linux下執行job都經常會遇到。常見的解決方法有以下幾種。

  • 關閉Hdfs的安全檢查(permission checking):將hdfs-xml中 dfs.permissions 屬性的值設置為 false 。但是這種方法的弊端是會導致Hdfs系統中所有的安全特性都被禁用,使Hdfs的安全性降低。
  • Hdfs的用戶許可權是與本地文件系統的用戶許可權綁定在一起的,根據錯誤中的

Permission denied: user=Administrator, access=WRITE, inode="/user":root:supergroup:drwxr-xr-x

我們可以發現,Hdfs中的/user目錄是屬於supergroup組裡的root用戶的。因此我們可以想到用4種方法解決這個問題: 

  • 解決方法1是在conf/hdfs-site.xml中設置dfs.permissions的值為false,如:

 

[java] view plain copy

 print?

1. <property>  

  1. 2.     <name>dfs.permissions</name>  
  2. 3.     <value>false</value>  
  3. 4.     <description>  
  4. 5.        If "true", enable permission checking in HDFS.  
  5. 6.        If "false", permission checking is turned off,  
  6. 7.        but all other behavior is unchanged.  
  7. 8.        Switching from one parameter value to the other does not change the mode,  
  8. 9.        owner or group of files or directories.  
  9.     </description>  
  10.  </property>   
  • 解決方法2是

在系統環境變數中增加HADOOP_USER_NAME,其值為root;

或者 通過Java程式動態添加,如下:

System.setProperty("HADOOP_USER_NAME", "root");

  • 解決方法3是

使用Eclipse在非hadoop運行的用戶下進行寫入hdfs文件系統中時,由於sunqw對"/"目錄沒有寫入許可權,所以導致異常的發生。解決方法即開放hadoop中的HDFS目錄的許可權,命令如下:hadoop fs -chmod 777 /  。

  • 解決方法4是

如果是Linux環境,將執行操作的用戶添加到supergroup用戶組。

groupadd supergroup

usermod -a -G supergroup spry

  • 1
  • 2

如果是Windows用戶,在hdfs namenode所在機器添加新用戶,用戶名為執行操作的Windows用戶名,然後將此用戶添加到supergroup用戶組。

adduser Administrator

groupadd supergroup

usermod -a -G supergroup Administrator

  • 1
  • 2
  • 3

這樣,以後每次執行類似操作可以將文件寫入Hdfs中屬於Administrator用戶的目錄內,而不會出現上面的Exception。

 


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 自定義廣播 自定義廣播就是我們自己來寫廣播發送者,也自己來寫廣播接收者。 效果圖: 分析: 1、自己寫好廣播發送者 設置廣播的id,廣播接收者監聽的時候需要監聽這個 intent.setAction("com.fry.receiver"); 這是給廣播接收者帶數據,沒這個也行 intent.putE ...
  • 動態註冊廣播接收者 這一段代碼,和靜態註冊廣播接收者下麵的代碼作用是一樣的: 都是用來監聽打電話應用的。 動態註冊的話,第二次打開應用的時候不能正常發揮作用。 適用場景: 靜態註冊:適合程式結束後還要監聽的廣播。比如ip撥號。 動態註冊:適合程式結束後不要監聽的廣播,比如界面上顯示的數據是廣播接收者 ...
  • ”只能在UI主線程中更新View“。 這句話很熟悉吧? 來來,哥們,看一下下麵的例子 代碼這麼寫,不是逗比嗎!肯定崩啊!但是,如果你試一下,你會發現,絕大多數是不會崩的。至於極少數會崩潰的原因,我一會再說。 你可能會很疑惑,不是”只能在UI主線程中更新View“嗎?你這個在子線程裡面更新View,為 ...
  • 廣播接收者實現IP撥號 效果圖: 實現的功能就是自動監聽我們要撥打的號碼,在我們撥打的號碼前加上179521 分析: 1、敲個類來繼承廣播接收者 並且將從打電話應用位置獲取的號碼加上179521,並將修改後的號碼返回給打電話APP 2、指定廣播接收者監聽的對象 這個就是指定我們的廣播接收者監聽電話應 ...
  • 參考: Android入門:廣播發送者與廣播接收者 - xiazdong - CSDN博客http://blog.csdn.net/xiazdong/article/details/7768807 一、廣播發送者&廣播接收者介紹 1.廣播接收者 廣播接收者簡單地說就是接收廣播意圖的Java類,此Ja ...
  • 1:Canvas類 2:Paint類 3:簡單幾何圖形繪製 4.1:drawRect矩形繪製 4.2:drawLine 4.3:橢圓繪製 4.4:弧形繪製 4.5:drawPath方法 4.6:drawText,drawTextOnpath,drawTextRun ...
  • 使用了c3p0的連接池,在建立連接時,c3p0會在資料庫連接一張test表,用來驗證連接。 現在情況是 由於其他應用先前也在這個庫建立了一張test表,用來存儲業務數據,結果c3p0無法新建一張表來處理連接。 報錯截圖: 所以每次查詢時,雖然用戶名、密碼等所有連接信息都正確。也會因為test表的問題 ...
  • Mysql建庫語句(導出的): DROP TABLE IF EXISTS `tablename`; CREATE TABLE `tablename` ( `C_DI_CDE` varchar(40) CHARACTER SET utf8 COLLATE utf8_bin NOT NULL, /*My ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...