Hadoop技巧(01):插件,終端許可權

来源:http://www.cnblogs.com/mephisto/archive/2016/02/29/5219535.html
-Advertisement-
Play Games

在hadoop開發或者使用中,可能會使用到一些插件或3方軟體,比如:Eclipse的Hadoop插件,ETL的Kettle。那麼就存在一個hdfs目錄許可權的問題。 下麵就這個許可權問題進行闡述。


閱讀目錄

本文版權歸mephisto和博客園共有,歡迎轉載,但須保留此段聲明,並給出原文鏈接,謝謝合作。

文章是哥(mephisto)寫的,SourceLink

 

     在hadoop開發或者使用中,可能會使用到一些插件或3方軟體,比如:Eclipse的Hadoop插件,ETL的Kettle。那麼就存在一個hdfs目錄許可權的問題。

     下麵就這個許可權問題進行闡述。

HDFS許可權

一:目錄結構

  Hadoop文件系統HDFS的用戶為hdfs,預設密碼為空。HDFS根目錄下還有一個tmp目錄,這個目錄是可以任何用戶進行操作的,包括新建、刪除目錄和文件(tmp下原有的其他用戶創建的文件及文件夾則不能訪問)。

二:預設許可權

     我們在這個許可權下只能操作tmp目錄,如下,其他的目錄不能操作。

  右鍵tmp,新建目錄test-1,刷新。

  結果如下

  右鍵test-1,上傳文件test.txt到DFS

  其他現有目錄就沒法向上面那樣操作成功了

三:增加環境變數

  在環境變數用增加兩個環境變數:

  HADOOP_HOME

    D:\02.Code\hadoop-2.7.1

  HADOOP_USER_NAME

    hdfs

四:Eclipse插件

  重啟Eclipse,然後我們可以對tmp外其他目錄進行操作,我們也可以在根目錄下新建新的目錄。

點擊根目錄,新建test-1,刷新

  結果。

 

五:Kettle

   新建一個轉換,在Hadoop clusters中新建一個集群h188

  點擊測試,我們可以看到User Home Directory Access是紅叉

  說明是不能訪問的。

  

  我們設置了環境變數後。

  再點測試,發現可以訪問了。

 

--------------------------------------------------------------------

  到此,本章節的內容講述完畢。

系列索引

  Hadoop技巧系列索引

 

 

 

 

本文版權歸mephisto和博客園共有,歡迎轉載,但須保留此段聲明,並給出原文鏈接,謝謝合作。

文章是哥(mephisto)寫的,SourceLink


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 1 using System; 2 using System.Collections.Generic; 3 using System.ComponentModel; 4 using System.Data; 5 using System.Drawing; 6 using System.Linq; 7
  • hiredis 是 redis 的client端C語言 lib, hiredis擁有同步和非同步的API, 非同步API的實現有多種方法,分別依賴libev, libevent, libuv, ae等等,其中ae是redis內部實現的一個非同步事件處理模塊。 稍微修改了hiredis的example-ae
  • 寫完DML語句(update, insert, delete)後,需要手動COMMIT,如果沒有COMMIT,更新的內容會被保存到記憶體中,而不是提交到資料庫中,將不會被其他Session(對話)看見。其他對話看到的是更新前的數據。當用戶退出對話時,Oracle才會自動Commit。 而DDL語句(c
  • 一、 Redis常用數據類型 Redis最為常用的數據類型主要有以下: String Hash List Set Sorted set 一張圖說明問題的本質 圖一: 圖二: 代碼: /* Object types */ #define REDIS_STRING 0 #define REDIS_LIS
  • MySQL中的註釋 MySQL中的註釋有三種: # 註釋內容 -- 註釋內容 /* 註釋內容*/ 但是,在導出的SQL文件中,也會看到類似如下內容的註釋: 1 CREATE DATABASE `blog` /*!40100 DEFAULT CHARACTER SET latin1 */; 其中的 /
  • 安裝依賴: CentOS: # yum -y install wget gcc-c++ cmake make bison ncurses-devel perl unzip Ubuntu:(使用ubuntu下麵有不少需要root許可權,請註意) 複製代碼 代碼如下: # sudo apt-get ins
  • 多表通用的SQL存儲過程分頁 USE [EmailCenter] GO /****** Object: StoredProcedure [dbo].[Common_PageList] Script Date: 2016/2/29 11:00:19 ******/ SET ANSI_NULLS ON
  • 目錄: 讀取數據 索引 選擇數據 簡單運算 聲明,本文引用於:https://www.dataquest.io/mission/8/introduction-to-pandas (建議閱讀原文) Pandas使用一個二維的數據結構DataFrame來表示表格式的數據,相比較於Numpy,Pandas...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...