ranger 編譯安裝

来源:https://www.cnblogs.com/gjc592/archive/2019/08/20/11383778.html
-Advertisement-
Play Games

ranger大數據領域的一個集中式安全管理框架，它可以對諸如hdfs、hive、kafka、storm等組件進行細粒度的許可權控制。本文將介紹部署過程 1. 部署準備 ranger: 進入apach官網下載 http://ranger.apache.org/download.html， 本次使用的是r ...


ranger大數據領域的一個集中式安全管理框架，它可以對諸如hdfs、hive、kafka、storm等組件進行細粒度的許可權控制。本文將介紹部署過程

1.  部署準備

ranger:    進入apach官網下載 http://ranger.apache.org/download.html，  本次使用的是ranger1.2.0 ，地址為http://mirror.bit.edu.cn/apache/ranger/1.2.0/apache-ranger-1.2.0.tar.gz

maven:    進入Apache的maven官網http://maven.apache.org/download.cgi下載, 本次用的是maven3.6 ，下載地址 http://mirrors.tuna.tsinghua.edu.cn/apache/maven/maven-3/3.6.1/binaries/apache-maven-3.6.1-bin.tar.gz

python2.7:  因編譯及試用中需要Python2.7版本的Python，因此如果為Centos6系統，需要手動升級Python至Python2.7，升級過程可參考歷史文章Python升級

MySQL：   需要mysql資料庫，如無可用MySQL需要部署一套MySQL，部署方法請參考歷史文章MySQL部署

mysql-connector-java:  進入MySQL官網下載 https://dev.mysql.com/downloads/connector/j/5.1.html

bc命令:   使用過程中需要使用bc命令

## 下載ranger
wget  http://mirror.bit.edu.cn/apache/ranger/1.2.0/apache-ranger-1.2.0.tar.gz
##  下載maven
wget  http://mirrors.tuna.tsinghua.edu.cn/apache/maven/maven-3/3.6.1/binaries/apache-maven-3.6.1-bin.tar.gz
##  安裝bc命令
yum  install bc -y

2.  編譯安裝過程

2.1   解壓

#  解壓ranger及maven包
tar  -zxvf apache-ranger-1.2.0.tar.gz
tar -zxvf  apache-maven-3.6.1-bin.tar.gz

#  將maven相關命令路徑配置到環境變數
vim  /etc/profile
export PATH=/usr/local/maven/bin:$PATH

2.2  編譯

cd apache-ranger-1.2.0
mvn clean
# 編譯
mvn clean compile package assembly:assembly install -DskipTests -Drat.skip=true

編譯過程中會有如下信息


執行過程中會出現很多信息，且編譯時間很長，如果出現異常，根據對應的報錯信息進行處理，例如Python包不存在時需要手動添加；如果某個jar不存在，可以手動下載放置對應的路徑或修改pom地址或文件。

經過很長一段時間，且多次解決錯誤後，編譯完成，出現如下結果

[INFO] Reactor Summary for ranger 1.2.0:
[INFO] 
[INFO] ranger ............................................. SUCCESS [  0.244 s]
[INFO] Jdbc SQL Connector ................................. SUCCESS [  0.573 s]
[INFO] Credential Support ................................. SUCCESS [  0.391 s]
[INFO] Audit Component .................................... SUCCESS [  1.065 s]
[INFO] Common library for Plugins ......................... SUCCESS [  1.332 s]
[INFO] Installer Support Component ........................ SUCCESS [  0.153 s]
[INFO] Credential Builder ................................. SUCCESS [  0.293 s]
[INFO] Embedded Web Server Invoker ........................ SUCCESS [  0.345 s]
[INFO] Key Management Service ............................. SUCCESS [  0.984 s]
[INFO] ranger-plugin-classloader .......................... SUCCESS [  0.209 s]
[INFO] HBase Security Plugin Shim ......................... SUCCESS [  0.830 s]
[INFO] HBase Security Plugin .............................. SUCCESS [  1.092 s]
[INFO] Hdfs Security Plugin ............................... SUCCESS [  0.786 s]
[INFO] Hive Security Plugin ............................... SUCCESS [  1.135 s]
[INFO] Knox Security Plugin Shim .......................... SUCCESS [  0.524 s]
[INFO] Knox Security Plugin ............................... SUCCESS [  0.712 s]
[INFO] Storm Security Plugin .............................. SUCCESS [  0.533 s]
[INFO] YARN Security Plugin ............................... SUCCESS [  0.398 s]
[INFO] Ranger Util ........................................ SUCCESS [  1.099 s]
[INFO] Unix Authentication Client ......................... SUCCESS [  0.259 s]
[INFO] Security Admin Web Application ..................... SUCCESS [ 12.847 s]
[INFO] KAFKA Security Plugin .............................. SUCCESS [  0.458 s]
[INFO] SOLR Security Plugin ............................... SUCCESS [  1.208 s]
[INFO] NiFi Security Plugin ............................... SUCCESS [  0.386 s]
[INFO] NiFi Registry Security Plugin ...................... SUCCESS [  0.381 s]
[INFO] Unix User Group Synchronizer ....................... SUCCESS [  1.016 s]
[INFO] Ldap Config Check Tool ............................. SUCCESS [  0.222 s]
[INFO] Unix Authentication Service ........................ SUCCESS [  0.330 s]
[INFO] KMS Security Plugin ................................ SUCCESS [  0.490 s]
[INFO] Tag Synchronizer ................................... SUCCESS [  1.211 s]
[INFO] Hdfs Security Plugin Shim .......................... SUCCESS [  0.311 s]
[INFO] Hive Security Plugin Shim .......................... SUCCESS [  0.800 s]
[INFO] YARN Security Plugin Shim .......................... SUCCESS [  0.320 s]
[INFO] Storm Security Plugin shim ......................... SUCCESS [  0.365 s]
[INFO] KAFKA Security Plugin Shim ......................... SUCCESS [  0.313 s]
[INFO] SOLR Security Plugin Shim .......................... SUCCESS [  0.701 s]
[INFO] Atlas Security Plugin Shim ......................... SUCCESS [  0.398 s]
[INFO] KMS Security Plugin Shim ........................... SUCCESS [  0.342 s]
[INFO] ranger-examples .................................... SUCCESS [  0.042 s]
[INFO] Ranger Examples - Conditions and ContextEnrichers .. SUCCESS [  0.335 s]
[INFO] Ranger Examples - SampleApp ........................ SUCCESS [  0.140 s]
[INFO] Ranger Examples - Ranger Plugin for SampleApp ...... SUCCESS [  0.322 s]
[INFO] Ranger Tools ....................................... SUCCESS [  0.457 s]
[INFO] Atlas Security Plugin .............................. SUCCESS [  0.722 s]
[INFO] Sqoop Security Plugin .............................. SUCCESS [  0.472 s]
[INFO] Sqoop Security Plugin Shim ......................... SUCCESS [  0.293 s]
[INFO] Kylin Security Plugin .............................. SUCCESS [  0.410 s]
[INFO] Kylin Security Plugin Shim ......................... SUCCESS [  0.315 s]
[INFO] Unix Native Authenticator .......................... SUCCESS [  0.491 s]
[INFO] ------------------------------------------------------------------------
[INFO] BUILD SUCCESS
[INFO] ------------------------------------------------------------------------
[INFO] Total time:  01:24 h
[INFO] Finished at: 2019-08-19T09:47:05+08:00
[INFO] ------------------------------------------------------------------------

在target文件夾下將有如下包

即表示編譯成功完成。

2.3  安裝並啟動ranger-admin

2.3.1 修改配置文件

關於資料庫安裝，許可權設置等，本文不再展開。

#  進入target目錄
cd /opt/apache-ranger-1.2.0/target/

#  解壓ranger-1.2.0-admin.tar.gz
tar  -zxvf  ranger-1.2.0-admin.tar.gz

# 進入ranger-1.2.0-admin目錄
cd  ranger-1.2.0-admin

# 修改 install.properties
vim install.properties


SQL_CONNECTOR_JAR=/usr/share/java/mysql-connector-java-8.0.17.jar   //  修改為準備工作中下載的jar包及路徑

db_root_user=root
db_root_password=123456
db_host=192.168.56.105

db_name=ranger
db_user=rangeradmin
db_password=rangeradmin


# 可以註銷如下內容
#Source for Audit Store. Currently only solr is supported.
# * audit_store is solr
## audit_store=solr

# * audit_solr_url URL to Solr. E.g. http://<solr_host>:6083/solr/ranger_audits
## audit_solr_urls=
## audit_solr_user=
## audit_solr_password=
## audit_solr_zookeepers=

2.3.2 修改 setup.sh

// 註銷如下內容

## if [ "$?" != "0" ]
## then
##         validateDefaultUsersPassword 'admin' "${rangerAdmin_password}"
##         validateDefaultUsersPassword 'rangertagsync' "${rangerTagsync_password}"
##         validateDefaultUsersPassword 'rangerusersync' "${rangerUsersync_password}"
##         validateDefaultUsersPassword 'keyadmin' "${keyadmin_password}"
## fi

2.3.3   安裝

./ setup.sh

註意，如果中途報如下錯誤

2019-08-20 08:54:22,460  [I] '/usr/local/java/bin/java' command found
setup.sh:行325: bc: 未找到命令
setup.sh: 第 325 行:[: -eq: 期待一元表達式

即缺少bc命令，安裝後即可

最終出現如下結果

2019-08-20 09:00:18,240  [I] --------- Verifying Ranger DB connection ---------
2019-08-20 09:00:18,240  [I] Checking connection..
geradmin' -p '********' -noheader -trim -c \; -query "SELECT version();"
Loading class `com.mysql.jdbc.Driver'. This is deprecated. The new driver class is `com.mysql.cj.jdbc.Driver'. The driver is automatically registered via the SPI and manual loading of the driver class is generally unnecessary.
2019-08-20 09:00:18,838  [I] Checking connection passed.
2019-08-20 09:00:19,091  [I] DB FLAVOR :MYSQL
2019-08-20 09:00:19,092  [I] --------- Verifying Ranger DB connection ---------
2019-08-20 09:00:19,092  [I] Checking connection..
geradmin' -p '********' -noheader -trim -c \; -query "SELECT version();"
Loading class `com.mysql.jdbc.Driver'. This is deprecated. The new driver class is `com.mysql.cj.jdbc.Driver'. The driver is automatically registered via the SPI and manual loading of the driver class is generally unnecessary.
2019-08-20 09:00:19,660  [I] Checking connection passed.
Installation of Ranger PolicyManager Web Application is completed.

表示已完成安裝。

2.4  啟動ranger-admin

 

#  進入ews目錄
cd ews 
# 啟動服務
./ranger-admin-services.sh  start
/**  正常情況下出現如下結果*/ 
Starting Apache Ranger Admin Service

Apache Ranger Admin Service with pid 236275 has started.

#  查看是否啟動
ps -ef|grep ranger
或
netstat -lntp|grep 6080

 

2.5 web端驗證

啟動完成後，可以用web端登錄驗證，預設埠為6080,預設用戶名密碼均為admin

登錄後，結果如下

 

 

3. 配置hdfs

3.1 在ranger-admim上配置一個服務

註意配置的服務名與底層配置文件里配置的服務名一致

3.2   修改配置文件

# 解壓
tar -zxvf ranger-1.2.0-hdfs-plugin.tar.gz

# 進入目錄
cd  /opt/apache-ranger-1.2.0/target/ranger-1.2.0-hdfs-plugin 

# 修改install.properties

vim install.properties

/**  主要修改如下內容*/
# Example:
# POLICY_MGR_URL=http://policymanager.xasecure.net:6080
#

POLICY_MGR_URL=http://192.168.1.17:6080

#
# This is the repository name created within policy manager
#
# Example:
# REPOSITORY_NAME=hadoopdev
#
REPOSITORY_NAME=hadoopdev

#
# Set hadoop home when hadoop program and Ranger HDFS Plugin are not in the
# same path.
#
COMPONENT_INSTALL_DIR_NAME=/opt/software/hadoop/hadoop-3.2.0

3.3 啟動插件

./enable-hdfs-plugin.sh 
/** 結果如下*/
Custom user and group is available, using custom user and group.
+ Tue Aug 20 18:04:14 CST 2019 : hadoop: lib folder=/opt/software/hadoop/hadoop-3.2.0/share/hadoop/hdfs/lib conf folder=/opt/software/hadoop/hadoop-3.2.0/etc/hadoop
+ Tue Aug 20 18:04:14 CST 2019 : Saving current config file: /opt/software/hadoop/hadoop-3.2.0/etc/hadoop/hdfs-site.xml to /opt/software/hadoop/hadoop-3.2.0/etc/hadoop/.hdfs-site.xml.20190820-180414 ...
+ Tue Aug 20 18:04:14 CST 2019 : Saving current config file: /opt/software/hadoop/hadoop-3.2.0/etc/hadoop/ranger-hdfs-audit.xml to /opt/software/hadoop/hadoop-3.2.0/etc/hadoop/.ranger-hdfs-audit.xml.20190820-180414 ...
+ Tue Aug 20 18:04:15 CST 2019 : Saving current config file: /opt/software/hadoop/hadoop-3.2.0/etc/hadoop/ranger-hdfs-security.xml to /opt/software/hadoop/hadoop-3.2.0/etc/hadoop/.ranger-hdfs-security.xml.20190820-180414 ...
+ Tue Aug 20 18:04:15 CST 2019 : Saving current config file: /opt/software/hadoop/hadoop-3.2.0/etc/hadoop/ranger-policymgr-ssl.xml to /opt/software/hadoop/hadoop-3.2.0/etc/hadoop/.ranger-policymgr-ssl.xml.20190820-180414 ...
+ Tue Aug 20 18:04:16 CST 2019 : Saving current JCE file: /etc/ranger/hadoopdev/cred.jceks to /etc/ranger/hadoopdev/.cred.jceks.20190820180416 ...
Ranger Plugin for hadoop has been enabled. Please restart hadoop to ensure that changes are effective.

網頁上測試成功後即可

其他組件的測試和hdfs類似，可自行嘗試。如果大家使用過程中編譯或配置有問題，可以添加微信或公眾號和我溝通討論。

 

另外，大家幫忙關註一下我的微信公眾號：   資料庫乾貨鋪  ，將不定期有書籍及學習資料贈送

您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 利用C51單片機模擬SPI進行雙機通信
    SPI協議簡述 SPI，是英語Serial Peripheral interface的縮寫，顧名思義就是串列外圍設備介面。由Motorola首創。SPI介面主要應用在 EEPROM，FLASH，實時時鐘，AD轉換器，還有數字信號處理器和數字信號解碼器之間。SPI，是一種高速的，全雙工，同步的通信匯流排 ...
  • Linux自動同步時間
    一、安裝時間同步工具 二、同步時間 1、修改時區 2、同步時間 3、寫入硬體時間 4、自動時間同步 ...
  • Linux 用戶賬號與許可權管理
    在 Linux 中，如何管理用戶、管理許可權？請看下文，謝謝配合。 ...
  • Linux 應用程式的安裝和管理
    在 Linux 中，有三種安裝軟體的方式，分別是 RPM 包安裝、YUM 源安裝、源代碼編譯安裝。 ...
  • Redis高級功能-1、高併發基本概述
    1、可能的問題 要將redis運用到工程項目中，只使用一臺redis是萬萬不能的，原因如下： （1）從結構上，單個redis伺服器會發生單點故障，並且一臺伺服器需要處理所有的請求負載，壓力較大。 （2）從容量上，單個redis伺服器記憶體容量有限，就算一臺redis伺服器記憶體容量為256g，也不能將所 ...
  • mysql查詢語句中使用星號真的慢的要死？
    前言 之所以寫這篇文章，是源於以前看過的關於sql語句優化的帖子，裡面明確提到了在sql語句中不要使用 * 來做查詢，就像下麵的規則中說的 但是中國有句姥話叫“盡信書不如無書”，難道在sql查詢語句中使用星號就真的慢的要死，難道加索引也不行？帶著這些個疑問，我進行了一些測試。結果發現，江湖傳說未必真 ...
  • Linux資料庫的創建 導入導出 以及一些基本指令
    首先linux 下查看mysql相關目錄 查看 mysql 的安裝路徑 執行查詢 SQL mysql>show variables like '%dir%'; mysql>show variables like '%dir%'; datadir 就是數據路徑 確定了運行路徑，執行導入、導出mysql ...
  • python搞搞大數據之hbase——初探
    使用python鏈接mysql讀入一個表並把它再寫到hbase 里去（九頭蛇萬歲） 先聲明一下需要用的庫： 倆！！： happybase （寫這個的老哥真的happy） pymysql 建議使用anaconda進行相應版本匹配安裝，在裝happybase的時候，conda預設的channel是找不到 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發（一）：使用.NET MAUI開發第一個安卓APP
    移動開發（一）：使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說，近來想嘗試開發一款安卓APP，考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP，畢竟是使用Visual Studio開發工具，使用起來也比較的順手，結合微軟官方的教程進行了安卓 ...
  • wpf ToggleButton選中效果和一個登錄界面
    前言 QuestPDF 是一個開源 .NET 庫，用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫，它徹底改變了我們生成 PDF 文檔的方 ...
  • 彈幕樹洞項目功能新增篇
    項目地址 項目後端地址： https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址： ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址： http://tree ...
  • 第27篇 sqlserver2022詳細安裝步驟
    話不多說，直接開乾 一.下載 1.官方鏈接下載： https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe，運行開始下載SQL server； 二. ...
  • .NET 開源高性能 MQTT 類庫
    前言 隨著物聯網（IoT）技術的迅猛發展，MQTT（消息隊列遙測傳輸）協議憑藉其輕量級和高效性，已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫，為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog文檔翻譯系列（六） - 可用的接收器、增強器、格式化輸出
    Serilog支持多種接收器用於日誌存儲，增強器用於添加屬性，LogContext管理動態屬性，支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項，適用於不同需求。 ...
  • 警惕 Visual Studio 屬性求值副作用導致邏輯不符合預期
    目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據，爬取信息時需要模擬瀏覽器行為，否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下： 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • [使用目前最新版]HybridCLR6.9.0+YooAsset2.2.4實現純C# Unity熱更新方案 (一)
    1.前言 什麼是熱更新 游戲或者軟體更新時，無需重新下載客戶端進行安裝，而是在應用程式啟動的情況下，在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR，Xlua，ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles，Addressable， ...
  • 在 ASP.NET Core Web API 中使用操作篩選器統一處理通用操作
    本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺，其實像阿裡雲，騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後，它會送 ...
  • 第28篇 如何.net中實現高效可靠數據同步api
    通過以下方式可以高效，並保證數據同步的可靠性 1.API設計 使用RESTful設計，確保API端點明確，並使用適當的HTTP方法（如POST用於創建，PUT用於更新）。 設計清晰的請求和響應模型，以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證，確保接收到的數據符合預期格 ...
所有分類