hdfs中acl許可權管理的簡單實用

来源:https://www.cnblogs.com/huan1993/archive/2023/06/05/17450295.html
-Advertisement-
Play Games

# 1、背景 在我們開發的過程中有這麼一種場景, `/projectA` 目錄是 `hadoopdeploy`用戶創建的,他對這個目錄有`wrx`許可權,同時這個目錄屬於`supergroup`,在這個組中的用戶也具有這個目錄的`wrx`許可權,對於其他人,不可訪問這個目錄。現在有這麼一個特殊的用戶`r ...


1、背景

在我們開發的過程中有這麼一種場景, /projectA 目錄是 hadoopdeploy用戶創建的,他對這個目錄有wrx許可權,同時這個目錄屬於supergroup,在這個組中的用戶也具有這個目錄的wrx許可權,對於其他人,不可訪問這個目錄。現在有這麼一個特殊的用戶root我想root用戶可以訪問這個目錄,在不修改root用戶組和其他人的許可權的情況下,還有什麼方式可以實現這個功能呢?
背景
由上圖可以,root用戶想訪問/projectA目錄,在hdfs中可以通過acl來實現。

2、環境準備

# 創建目錄
[hadoopdeploy@hadoop01 ~]$ hdfs dfs -mkdir /projectA
# 列出根目錄下的文件夾
[hadoopdeploy@hadoop01 ~]$ hdfs dfs -ls /
Found 1 items
drwxr-xr-x   - hadoopdeploy supergroup          0 2023-05-24 20:35 /projectA
# 將 /projectA 目錄的許可權修改成 770, 即其他人沒有這個目錄的訪問許可權
[hadoopdeploy@hadoop01 ~]$ hdfs dfs -chmod 770 /projectA
# 再次查看發現修改成功
[hadoopdeploy@hadoop01 ~]$ hdfs dfs -ls /
Found 1 items
drwxrwx---   - hadoopdeploy supergroup          0 2023-05-24 20:35 /projectA
[hadoopdeploy@hadoop01 ~]$

環境準備
從上述代碼中可知,我們創建了一個/projecetA的目錄,且給這個目錄的許可權為770,那麼其他人 對這個目錄應該是沒有訪問許可權的。 通過上述圖片可知,我們用root用戶上傳文件,發現沒有許可權。

3、開啟acl許可權

3.1 修改hdfs-site.xml

<!-- 開啟acl訪問控制許可權,預設就開啟了 -->
<property>
    <name>dfs.namenode.acls.enabled</name>
    <value>true</value>
</property>

開啟acl
註意: 在低版本的hadoop上預設是禁用的,高版本預設是開啟的。

3.2 重啟hdfs集群

[hadoopdeploy@hadoop01 ~]$ stop-dfs.sh
Stopping namenodes on [hadoop01]
Stopping datanodes
Stopping secondary namenodes [hadoop03]
[hadoopdeploy@hadoop01 ~]$ start-dfs.sh
Starting namenodes on [hadoop01]
Starting datanodes
Starting secondary namenodes [hadoop03]
[hadoopdeploy@hadoop03 ~]$

3.3 使用acl給root用戶授權

[hadoopdeploy@hadoop01 ~]$ hdfs dfs -setfacl -m user:root:rwx /projectA
[hadoopdeploy@hadoop01 ~]$ hdfs dfs -getfacl /projectA
# file: /projectA
# owner: hadoopdeploy
# group: supergroup
user::rwx
user:root:rwx
group::rwx
mask::rwx
other::---

[hadoopdeploy@hadoop01 ~]$

使用acl給root用戶授權

3.4 使用 root 用戶測試文件上傳

[root@hadoop01 ~]# hdfs dfs -put anaconda-ks.cfg /projectA
[root@hadoop01 ~]# hdfs dfs -ls /projectA
Found 1 items
-rw-r--r--   2 root supergroup       1151 2023-05-24 21:10 /projectA/anaconda-ks.cfg
[root@hadoop01 ~]#

可以看到文件上傳成功了。

4、acl的一些簡單命令

acl語法
hdfs dfs -setfacl -m user:root:rwx /projectAroot用戶設置
hdfs dfs -setfacl -m group:root:rwx /projectAroot組設置

4.1 設置acl

hdfs dfs -setfacl -m user:root:rwx /projectA

/projectA這個目錄授予root用戶rwx許可權。

4.2 查看acl

[hadoopdeploy@hadoop01 ~]$ hdfs dfs -getfacl /projectA
# file: /projectA
# owner: hadoopdeploy
# group: supergroup
user::rwx
user:root:rwx
group::rwx
mask::rwx
other::---

[hadoopdeploy@hadoop01 ~]$ hdfs dfs -ls /
Found 1 items
drwxrwx---+  - hadoopdeploy supergroup          0 2023-05-24 21:10 /projectA
[hadoopdeploy@hadoop01 ~]$

drwxrwx---+ 這個+表示有acl許可權

4.3 移除某個用戶的acl

[hadoopdeploy@hadoop01 ~]$ hdfs dfs -setfacl -x user:root /projectA
[hadoopdeploy@hadoop01 ~]$ hdfs dfs -getfacl /projectA
# file: /projectA
# owner: hadoopdeploy
# group: supergroup
user::rwx
group::rwx
mask::rwx
other::---

[hadoopdeploy@hadoop01 ~]$

移除某個用戶的acl

4.4 刪除該目錄所有的acl許可權

[hadoopdeploy@hadoop01 ~]$ hdfs dfs -setfacl -b /projectA
[hadoopdeploy@hadoop01 ~]$ hdfs dfs -getfacl /projectA
# file: /projectA
# owner: hadoopdeploy
# group: supergroup
user::rwx
group::rwx
other::---

[hadoopdeploy@hadoop01 ~]$

5、參考鏈接

1、https://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/FileSystemShell.html#setfacl

本文來自博客園,作者:huan1993,轉載請註明原文鏈接:https://www.cnblogs.com/huan1993/p/17450295.html


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 大家好,我3y啊。由於去重邏輯重構了幾次,好多股東直呼看不懂,於是我今天再安排一波對代碼的解析吧。`austin`支持兩種去重的類型:**N分鐘相同內容達到N次**去重和**一天內N次相同渠道頻次**去重。 > **Java開源項目消息推送平臺🔥推送下發【郵件】【簡訊】【微信服務號】【微信小程式】 ...
  • # 節點流 和 處理流 [TOC] - **節點流和處理流一覽圖:** ![img](https://img-blog.csdnimg.cn/img_convert/8ca5f4f2e434e5c05149bcb7ebc281a8.png) ​ 【圖片來源】http://t.csdn.cn/d52a ...
  • # 前言 生成器是Python的一種核心特性,允許我們在請求新元素時再生成這些元素,而不是在開始時就生成所有元素。它在處理大規模數據集、實現節省記憶體的演算法和構建複雜的迭代器模式等多種情況下都有著廣泛的應用。在本篇文章中,我們將從理論和實踐兩方面來探索Python生成器的深度用法。 ## 生成器的定義 ...
  • 在B站有許多坤坤的視頻,作為一名ikun,讓我們寫個爬蟲研究一下視頻的視頻的名字、鏈接、觀看次數、彈幕、發佈時間以及作者。我們用selenium來實現這個爬蟲,由於要獲取的數據比較多,我們寫幾個函數來實現這個爬蟲。 先倒入需要用到的庫,包括selenium, time ,BeautifulSoup ...
  • 鑒於公司內網安裝的python版本為python3.6.5,而此時又需要安裝第三方庫pytest,本來是想直接在Python官網PyPI直接搜對應可匹配跑python3.6.5版本的pytest進行下載然後傳到內網安裝即可,但是發現pytest依賴別的第三方庫,根據報錯裝了幾個依賴的第三方庫之後,發 ...
  • 基於java的座位預約系統,可以用於圖書館占位系統,圖書館座位預約系統,大學自習室占座系統,自習室座位預約系統,圖書館預約占座系統,自習室預約占座系統,座位預約系統等等; ...
  • 清醒點[toc] # Java虛擬線程 > 翻譯自 screencapture-pradeesh-kumar-medium-an-era-of-virtual-threads-java ```mermaid flowchart LR introduction-->a(why thread)-->b( ...
  • 基於java的倉庫管理系統設計與實現,可適用於出庫、入庫、庫存管理,基於java的出入庫管理,java出入庫管理系統,基於java的WMS倉庫管理系統,庫存物品管理系統。 ...
一周排行
    -Advertisement-
    Play Games
  • 通過WPF的按鈕、文本輸入框實現了一個簡單的SpinBox數字輸入用戶組件並可以通過數據綁定數值和步長。本文中介紹了通過Xaml代碼實現自定義組件的佈局,依賴屬性的定義和使用等知識點。 ...
  • 以前,我看到一個朋友在對一個系統做初始化的時候,通過一組魔幻般的按鍵,調出來一個隱藏的系統設置界面,這個界面在常規的菜單或者工具欄是看不到的,因為它是一個後臺設置的關鍵界面,不公開,同時避免常規用戶的誤操作,它是作為一個超級管理員的入口功能,這個是很不錯的思路。其實Winform做這樣的處理也是很容... ...
  • 一:背景 1. 講故事 前些天有位朋友找到我,說他的程式每次關閉時就會自動崩潰,一直找不到原因讓我幫忙看一下怎麼回事,這位朋友應該是第二次找我了,分析了下 dump 還是挺經典的,拿出來給大家分享一下吧。 二:WinDbg 分析 1. 為什麼會崩潰 找崩潰原因比較簡單,用 !analyze -v 命 ...
  • 在一些報表模塊中,需要我們根據用戶操作的名稱,來動態根據人員姓名,更新報表的簽名圖片,也就是電子手寫簽名效果,本篇隨筆介紹一下使用FastReport報表動態更新人員簽名圖片。 ...
  • 最新內容優先發佈於個人博客:小虎技術分享站,隨後逐步搬運到博客園。 創作不易,如果覺得有用請在Github上為博主點亮一顆小星星吧! 博主開始學習編程於11年前,年少時還只會使用cin 和cout ,給單片機點點燈。那時候,類似async/await 和future/promise 模型的認知還不是 ...
  • 之前在阿裡雲ECS 99元/年的活動實例上搭建了一個測試用的MINIO服務,以前都是直接當基礎設施來使用的,這次準備自己學一下S3相容API相關的對象存儲開發,因此有了這個小工具。目前僅包含上傳功能,後續計劃開發一個類似圖床的對象存儲應用。 ...
  • 目錄簡介快速入門安裝 NuGet 包實體類User資料庫類DbFactory增刪改查InsertSelectUpdateDelete總結 簡介 NPoco 是 PetaPoco 的一個分支,具有一些額外的功能,截至現在 github 星數 839。NPoco 中文資料沒多少,我是被博客園群友推薦的, ...
  • 前言 前面使用 Admin.Core 的代碼生成器生成了通用代碼生成器的基礎模塊 分組,模板,項目,項目模型,項目欄位的基礎功能,本篇繼續完善,實現最核心的模板生成功能,並提供生成預覽及代碼文件壓縮下載 準備 首先清楚幾個模塊的關係,如何使用,簡單畫一個流程圖 前面完成了基礎的模板組,模板管理,項目 ...
  • 假設需要實現一個圖標和文本結合的按鈕 ,普通做法是 直接重寫該按鈕的模板; 如果想作為通用的呢? 兩種做法: 附加屬性 自定義控制項 推薦使用附加屬性的形式 第一種:附加屬性 創建Button的附加屬性 ButtonExtensions 1 public static class ButtonExte ...
  • 在C#中,委托是一種引用類型的數據類型,允許我們封裝方法的引用。通過使用委托,我們可以將方法作為參數傳遞給其他方法,或者將多個方法組合在一起,從而實現更靈活的編程模式。委托類似於函數指針,但提供了類型安全和垃圾回收等現代語言特性。 基本概念 定義委托 定義委托需要指定它所代表的方法的原型,包括返回類 ...