Apache Sentry部署

来源:https://www.cnblogs.com/shsxt/archive/2018/01/25/8352578.html
-Advertisement-
Play Games

三台hadoop集群，分別是master、slave1和slave2。下麵是這三台機器的軟體分佈： master：NameNode、ZK、HiveMetaSotre、HiveServer2、SentryServer slave1：DataNode、ZK slave2：DataNode、ZK 2 軟體 ...


 

三台hadoop集群，分別是master、slave1和slave2。下麵是這三台機器的軟體分佈：

  • master：NameNode、ZK、HiveMetaSotre、HiveServer2、SentryServer
  • slave1：DataNode、ZK
  • slave2：DataNode、ZK

2 軟體需求

  1. MySql
  2. mysql-jdbc.jar：mysql-connector-java-5.1.38-bin.jar
  3. Hadoop
  4. Hive1.1.0：apache-hive-1.1.0-bin.tar.gz
  5. Sentry1.6.0：apache-sentry-1.6.0-incubating-bin.tar.gz 
    註意：這裡的Sentry1.6.0版本對應的是Hive1.1.0版本，目前還不支持Hive1.2及以上版本。

3 軟體安裝

3.1 MySql安裝

  • 線上安裝：sudo apt-get install mysql-server。
  • 修改文件：vim /etc/mysql/my.cnf，內容如下：

#bind-address           = 127.0.0.1

bind-address            = 0.0.0.0

  • 重啟mysql：service mysql restart 

3.2 Hadoop安裝

此處省略

3.2 Hive安裝

此處省略

創建hive的元數據mysql資料庫

create database hive;

CREATE USER hive IDENTIFIED BY 'hive';

GRANT all ON hive.* TO hive@'%' IDENTIFIED BY'hive';

flush privileges;

3.3 Sentry安裝

1. 解壓安裝

tar -zxvf apache-sentry-1.6.0-incubating-bin.tar.gz -C /opt

2. 修改sentry的配置文件(sentry-site.xml)

mv apache-sentry-1.6.0-incubating-bin apache-sentry-1.6.0

cp mysql-connector-java-5.1.38-bin.jar /opt/apache-sentry-1.6.0/lib

cd /opt/apache-sentry-1.6.0/conf

vim sentry-site.xml

3. 修改sentry-sitem.xml文件

<?xml version="1.0" encoding="utf-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>sentry.service.admin.group</name>  
<value>admin</value>
</property>  
<property>
<name>sentry.service.allow.connect</name>  
<value>hive,admin</value>
</property>  
<property>
<name>sentry.service.reporting</name>  
<value>JMX</value>
</property>  
<property>
<name>sentry.service.server.rpc-address</name>  
<value>192.168.70.110</value>
</property>  
<property>
<name>sentry.service.server.rpc-port</name>  
<value>8038</value>
</property>  
<property>
<name>sentry.store.group.mapping</name>  
<value>org.apache.sentry.provider.common.HadoopGroupMappingService</value>
</property>  
<property>
<name>sentry.hive.server</name>  
<value>server1</value>
</property>  
<!-- 配置Webserver -->  
<property>
<name>sentry.service.web.enable</name>  
<value>true</value>
</property>  
<property>
<name>sentry.service.web.port</name>  
<value>51000</value>
</property>  
<property>
<name>sentry.service.web.authentication.type</name>  
<value>NONE</value>
</property>  
<property>
<name>sentry.service.web.authentication.kerberos.principal</name>  
<value> </value>
</property>  
<property>
<name>sentry.service.web.authentication.kerberos.keytab</name>  
<value> </value>
</property>  
<!--配置認證-->  
<property>
<name>sentry.service.security.mode</name>  
<value>none</value>
</property>  
<property>
<name>sentry.service.server.principal</name>  
<value> </value>
</property>  
<property>
<name>sentry.service.server.keytab</name>  
<value> </value>
</property>  
<!-- 配置Jdbc -->  
<property>
<name>sentry.store.jdbc.url</name>  
<value>jdbc:mysql://192.168.70.110:3306/sentry</value>
</property>  
<property>
<name>sentry.store.jdbc.driver</name>  
<value>com.mysql.jdbc.Driver</value>
</property>  
<property>
<name>sentry.store.jdbc.user</name>  
<value>sentry</value>
</property>  
<property>
<name>sentry.store.jdbc.password</name>  
<value>sentry</value>
</property>
</configuration>

　　

4. 配置環境變數 
編輯vim /etc/profile

export SENTRY_HOME=/opt/apache-sentry-1.6.0

export PATH=${SENTRY_HOME}/bin:$PATH

使生效source /etc/profile 
5. 在mysql中創建sentry資料庫

create database sentry;

CREATE USER sentry IDENTIFIED BY 'sentry';

GRANT all ON sentry.* TO sentry@'%' IDENTIFIED BY 'sentry';

flush privileges;

6. 將mysql-jdbc的jar包拷貝到sentry/lib目錄下

cp mysql-connector-java-5.1.38-bin.jar  ${SENTRY_HOME}/lib

7. 替換hadoop中jline的jar包

rm ${HADOOP_HOME}/share/hadoop/yarn/lib/jline-0.9.94.jar

cp ${SENTRY_HOME}/lib/jline-2.12.jar ${HADOOP_HOME}/share/hadoop/yarn/lib

8. 初始化sentry資料庫

sentry --command schema-tool --conffile  ${SENTRY_HOME}/conf/sentry-site.xml --dbType mysql --initSchema

9. 啟動sentry服務

sentry --command service --conffile  ${SENTRY_HOME}/conf/sentry-site.xml

4 Hive集成Sentry

1. 修改hive-site.xml配置文件

<?xml version="1.0" encoding="utf-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>hive.sentry.conf.url</name>  
<value>file:///opt/apache-hive-1.1.0/conf/sentry-site.xml</value>
</property>
<!-- 配置開關控制列訪問許可權 -->  
<property>
<name>hive.stats.collect.scancols</name>  
<value>true</value>
</property>   
<!-- Hive Metastore集成Sentry -->  
<property>
<name>hive.metastore.pre.event.listeners</name>  
<value>org.apache.sentry.binding.metastore.MetastoreAuthzBinding</value>
</property>  
<property>
<name>hive.metastore.event.listeners</name>  
<value>org.apache.sentry.binding.metastore.SentryMetastorePostEventListener</value>
</property>  
<!-- Hive Server2集成Sentry -->  
<property>
<name>hive.server2.session.hook</name>  
<value>org.apache.sentry.binding.hive.HiveAuthzBindingSessionHook</value>
</property>  
<property>
<name>hive.security.authorization.task.factory</name>  
<value>org.apache.sentry.binding.hive.SentryHiveAuthorizationTaskFactoryImpl</value>
</property>  
<!-- 設置mysql-jdbc -->  
<property>
<name>javax.jdo.option.ConnectionURL</name>  
<value>jdbc:mysql://192.168.70.110:3306/hive?createDatabaseIfNotExist=true</value>
</property>  
<property>
<name>javax.jdo.option.ConnectionDriverName</name>  
<value>com.mysql.jdbc.Driver</value>
</property>  
<property>
<name>javax.jdo.option.ConnectionUserName</name>  
<value>hive</value>
</property>  
<property>
<name>javax.jdo.option.ConnectionPassword</name>  
<value>hive</value>
</property>
</configuration>

　　

2. 修改sentry-site.xml配置文件 
註意：該文件是在hive/conf目錄下的，不要和sentry/conf目錄下的sentry-site.xml文件混淆！

<?xml version="1.0" encoding="utf-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>sentry.service.client.server.rpc-address</name>  
<value>192.168.70.110</value>
</property>  
<property>
<name>sentry.service.client.server.rpc-port</name>  
<value>8038</value>
</property>  
<property>
<name>sentry.service.client.server.rpc-connection-timeout</name>  
<value>200000</value>
</property>  
<!--配置認證-->  
<property>
<name>sentry.service.security.mode</name>  
<value>none</value>
</property>  
<property>
<name>sentry.service.server.principal</name>  
<value> </value>
</property>  
<property>
<name>sentry.service.server.keytab</name>  
<value> </value>
</property>  
<property>
<name>sentry.provider</name>  
<value>org.apache.sentry.provider.file.HadoopGroupResourceAuthorizationProvider</value>
</property>  
<property>
<name>sentry.hive.provider.backend</name>  
<value>org.apache.sentry.provider.db.SimpleDBProviderBackend</value>
</property>  
<property>
<name>sentry.metastore.service.users</name>  
<value>hive</value>  
<!--queries made by hive user (beeline) skip meta store check-->
</property>  
<property>
<name>sentry.hive.server</name>  
<value>server1</value>
</property>  
<property>
<name>sentry.hive.testing.mode</name>  
<value>true</value>
</property>
</configuration>

　　

3. 拷貝sentry/lib下的jar包到hive/lib目錄下

cp ${SENTRY_HOME}/lib/sentry*.jar ${HIVE_HOME}/lib

cp ${SENTRY_HOME}/lib/shiro-*.jar ${HIVE_HOME}/lib

註意：shiro-*.jar一定也要拷貝過去，否則會報錯。 
4. 修改Hive在HDFS上的文件許可權

hadoop fs -chown -R hive:hive /user/hive/warehouse

hadoop fs -chmod -R 770 /user/hive/warehouse

由於HDFS上文件是hive：hive許可權，所以linux用戶上能 
5. 啟動Hive Metastore服務

hive --service metastore -hiveconf hive.root.logger=DEBUG,console

6. 啟動Hive Server2服務

hive --service hiveserver2 -hiveconf hive.root.logger=DEBUG,console

5 Hive許可權驗證

5.1 準備測試數據

  • 創建測試數據文件：vim /tmp/events.csv，內容如下：

10.1.2.3,US,android,createNote

10.200.88.99,FR,windows,updateNote

10.1.2.3,US,android,updateNote

10.200.88.77,FR,ios,createNote

10.1.4.5,US,windows,updateTag

  • 然後，在hive中運行下麵sql語句（註意：以hive用戶啟動hive命令）：
  1. create database sensitive;
  2. create table sensitive.events (ip STRING, country STRING, client STRING, action STRING) ROW FORMAT DELIMITED FIELDS TERMINATED BY ',';
  3. load data local inpath '/tmp/events.csv' overwrite into table sensitive.events;
  4. create database filtered;
  5. create view filtered.events as select country, client, action from sensitive.events;
  6. create view filtered.events_usonly as select * from filtered.events where country = 'US';
  • 在master上通過 beeline 連接 hiveserver2，運行下麵命令創建角色和組：

beeline -u "jdbc:hive2://master:10000/" -n admin -p admin -d org.apache.hive.jdbc.HiveDriver

  • 在beelin中執行下麵的 sql 語句創建 role、group等：
  1. create role admin_role;
  2. GRANT ALL ON SERVER server1 TO ROLE admin_role;
  3. GRANT ROLE admin_role TO GROUP admin;
  4. create role test_role;
  5. GRANT ALL ON DATABASE filtered TO ROLE test_role;
  6. use sensitive;
  7. GRANT SELECT(ip) on TABLE sensitive.events TO ROLE test_role;
  8. GRANT ROLE test_role TO GROUP test;

上面創建了兩個角色：

  • admin_role，具有管理員許可權，可以讀寫所有資料庫，並授權給 admin 和 hive 組（對應操作系統上的組）
  • test_role，只能讀寫 filtered 資料庫，和只能讀取sensitive庫中events 表中的ip欄位，並授權給 test 組。

因為系統上沒有test用戶和組，所以需要手動創建：useradd test

5.2 測試

5.2.1 測試admin_role角色

使用admin用戶訪問beelin：

beeline -u "jdbc:hive2://master:10000/" -n admin -p admin -d org.apache.hive.jdbc.HiveDriver

admin用戶屬於admin_role組，具有管理員許可權，可以查看所有角色：

0: jdbc:hive2://master:10000/> show roles;

+-------------+--+

|    role     |

+-------------+--+

| admin_role  |

| test_role   |

+-------------+--+

2 rows selected (0.251 seconds)

查看所有許可權：

0: jdbc:hive2://master:10000/> show grant role admin_role;

+-----------+--------+------------+---------+-----------------+-----------------+------------+---------------+-------------------+----------+--+

| database  | table  | partition  | column  | principal_name  | principal_type  | privilege  | grant_option  |    grant_time     | grantor  |

+-----------+--------+------------+---------+-----------------+-----------------+------------+---------------+-------------------+----------+--+

| *         |        |            |         | admin_role      | ROLE            | *          | false         | 1461507543582000  | --       |

+-----------+--------+------------+---------+-----------------+-----------------+------------+---------------+-------------------+----------+--+

1 row selected (0.111 seconds)

0: jdbc:hive2://master:10000/> show grant role test_role;

+------------+---------+------------+---------+-----------------+-----------------+------------+---------------+-------------------+----------+--+

|  database  |  table  | partition  | column  | principal_name  | principal_type  | privilege  | grant_option  |    grant_time     | grantor  |

+------------+---------+------------+---------+-----------------+-----------------+------------+---------------+-------------------+----------+--+

| sensitive  | events  |            | ip      | test_role       | ROLE            | select     | false         | 1461558337008000  | --       |

| filtered   |         |            |         | test_role       | ROLE            | *          | false         | 1461557354579000  | --       |

+------------+---------+------------+---------+-----------------+-----------------+------------+---------------+-------------------+----------+--+

2 rows selected (0.111 seconds)

hive用戶可以查看所有資料庫、訪問所有表：

0: jdbc:hive2://master:10000/> show databases;

+----------------+--+

| database_name  |

+----------------+--+

| default        |

| filtered       |

| sensitive      |

+----------------+--+

3 rows selected (0.142 seconds)

0: jdbc:hive2://master:10000/> use filtered;

No rows affected (0.144 seconds)

0: jdbc:hive2://master:10000/> select * from filtered.events;

+-----------------+----------------+----------------+--+

| events.country  | events.client  | events.action  |

+-----------------+----------------+----------------+--+

| US              | android        | createNote     |

| FR              | windows        | updateNote     |

| US              | android        | updateNote     |

| FR              | ios            | createNote     |

| US              | windows        | updateTag      |

+-----------------+----------------+----------------+--+

5 rows selected (0.458 seconds)

0: jdbc:hive2://master:10000/> select * from sensitive.events;

+---------------+-----------------+----------------+----------------+--+

|   events.ip   | events.country  | events.client  | events.action  |

+---------------+-----------------+----------------+----------------+--+

| 10.1.2.3      | US              | android        | createNote     |

| 10.200.88.99  | FR              | windows        | updateNote     |

| 10.1.2.3      | US              | android        | updateNote     |

| 10.200.88.77  | FR              | ios            | createNote     |

| 10.1.4.5      | US              | windows        | updateTag      |

+---------------+-----------------+----------------+----------------+--+

5 rows selected (0.731 seconds)

5.2.2 測試test_role角色

使用test用戶訪問beeline：

beeline -u "jdbc:hive2://master:10000/" -n test -p test -d org.apache.hive.jdbc.HiveDriver

test用戶不是管理員，是不能查看所有角色的：

0: jdbc:hive2://master:10000/> show roles;

ERROR : Error processing Sentry command: Access denied to test.Please grant admin privilege to test.

Error: Error while processing statement: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.SentryGrantRevokeTask. SentryAccessDeniedException: Access denied to test (state=08S01,code=1)

test用戶可以列出所有資料庫：

0: jdbc:hive2://master:10000/> show databases;

+----------------+--+

| database_name  |

+----------------+--+

| default        |

| filtered       |

| sensitive      |

+----------------+--+

test用戶可以filtered庫：

0: jdbc:hive2://master:10000/> use filtered;

No rows affected (0.256 seconds)

0: jdbc:hive2://master:10000/> select * from events;

+-----------------+----------------+----------------+--+

| events.country  | events.client  | events.action  |

+-----------------+----------------+----------------+--+

| US              | android        | createNote     |

| FR              | windows        | updateNote     |

| US              | android        | updateNote     |

| FR              | ios            | createNote     |

| US              | windows        | updateTag      |

+-----------------+----------------+----------------+--+

5 rows selected (0.199 seconds)

test用戶只能查看sensitive庫中events表中的ip欄位，其他的都都無法查看：

0: jdbc:hive2://master:10000/> use sensitive;

No rows affected (0.112 seconds)

0: jdbc:hive2://master:10000/> select * from events;

Error: Error while compiling statement: FAILED: SemanticException No valid privileges

 User test does not have privileges for QUERY (state=42000,code=40000)

0: jdbc:hive2://master:10000/> select ip from events;

+---------------+--+

|      ip       |

+---------------+--+

| 10.1.2.3      |

| 10.200.88.99  |

| 10.1.2.3      |

| 10.200.88.77  |

| 10.1.4.5      |

+---------------+--+

5 rows selected (0.176 seconds)

原文出處：http://www.shsxt.com/it/Big-data/825.html

上海尚學堂大數據教研組創作


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 通過資源監視器排查網路高占用異常
    最近公司某台伺服器的網路占用經常達到99%，好像最高就是這麼多。使得很多服務受到影響，下麵就分享一下如何通過windows自帶的一些工具排查網路高占用異常。 首先最簡單的是資源管理器，這個通過工具欄右鍵資源管理器，或者Ctrl+Alt+Del就可以調出來，然後點到聯網這一個標簽頁。在最下麵列出了機器 ...
  • 搭建ngrok—內網穿透/映射神器
    一、ngrok介紹及場景應用 1、介紹 ngrok是非常流行的反向代理服務，可以進行內網穿透，支持80埠以及自定義tcp埠轉發。這樣你就可以運行本地的程式,而讓別人通過公網訪問了 ngrok 是一個反向代理，通過在公共的端點和本地運行的 Web 伺服器之間建立一個安全的通道。ngrok 可捕獲和 ...
  • Linux的重要子目錄
    1： 網卡的配置文件 [ 同樣可以使用命令setup來執行網卡參數 2： DNS文件 註：網卡的配置文件裡面如果配置了DNS，它的優先順序是高於這個配置文件的。 3： hosts文件 /etc/hosts 用戶IP與名稱（功能變數名稱）的對應解析的配置文件 在實際的生產環境中很有用（一般所有的內網機器host ...
  • MySQL中文亂碼
    MySQL中文亂碼處理 找到my.ini文件(預設在C:\ProgramData\MySQL\MySQL Server 5.7文件夾下)； 在my.ini中： 搜索到[client]，修改或添加default-character-set=utf8; 搜索到[mysqld]，修改或添加characte ...
  • MySQL中Checkpoint技術
    個人讀書筆記，詳情參考《MySQL技術內幕 Innodb存儲引擎》 1，checkpoint產生的背景資料庫在發生增刪查改操作的時候，都是先在buffer pool中完成的，為了提高事物操作的效率，buffer pool中修改之後的數據，並沒有立即寫入到磁碟，這有可能會導致記憶體中數據與磁碟中的數據產 ...
  • MySQL-索引詳解
    索引是用來快速檢索出具有特定值的記錄。如果沒有索引，資料庫就必須從第一條記錄開始進行全表掃描，直到找出相關的行。數據越多，檢索的代價就越高，檢索時如果表的列存在索引，那麼MySQL就能快速到達指定位置去搜索數據文件，而不必查看所有數據。 概述 索引依托於存儲引擎的實現，因此，每種存儲引擎的索引都不一 ...
  • mysql索引的註意事項
    索引的優點 大大加快數據的查詢速度 使用分組和排序進行數據查詢時，可以顯著減少查詢時分組和排序的時間 創建唯一索引，能夠保證資料庫表中每一行數據的唯一性 在實現數據的參考完整性方面，可以加速表和表之間的連接 索引的缺點 創建索引和維護索引需要消耗時間，並且隨著數據量的增加，時間也會增加 索引需要占據 ...
  • vim撤銷undo與反撤銷redo
    普通模式下 u 撤銷 ctrl + r 反撤銷 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發（一）：使用.NET MAUI開發第一個安卓APP
    移動開發（一）：使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說，近來想嘗試開發一款安卓APP，考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP，畢竟是使用Visual Studio開發工具，使用起來也比較的順手，結合微軟官方的教程進行了安卓 ...
  • wpf ToggleButton選中效果和一個登錄界面
    前言 QuestPDF 是一個開源 .NET 庫，用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫，它徹底改變了我們生成 PDF 文檔的方 ...
  • 彈幕樹洞項目功能新增篇
    項目地址 項目後端地址： https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址： ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址： http://tree ...
  • 第27篇 sqlserver2022詳細安裝步驟
    話不多說，直接開乾 一.下載 1.官方鏈接下載： https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe，運行開始下載SQL server； 二. ...
  • .NET 開源高性能 MQTT 類庫
    前言 隨著物聯網（IoT）技術的迅猛發展，MQTT（消息隊列遙測傳輸）協議憑藉其輕量級和高效性，已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫，為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog文檔翻譯系列（六） - 可用的接收器、增強器、格式化輸出
    Serilog支持多種接收器用於日誌存儲，增強器用於添加屬性，LogContext管理動態屬性，支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項，適用於不同需求。 ...
  • 警惕 Visual Studio 屬性求值副作用導致邏輯不符合預期
    目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據，爬取信息時需要模擬瀏覽器行為，否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下： 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • [使用目前最新版]HybridCLR6.9.0+YooAsset2.2.4實現純C# Unity熱更新方案 (一)
    1.前言 什麼是熱更新 游戲或者軟體更新時，無需重新下載客戶端進行安裝，而是在應用程式啟動的情況下，在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR，Xlua，ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles，Addressable， ...
  • 在 ASP.NET Core Web API 中使用操作篩選器統一處理通用操作
    本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺，其實像阿裡雲，騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後，它會送 ...
  • 第28篇 如何.net中實現高效可靠數據同步api
    通過以下方式可以高效，並保證數據同步的可靠性 1.API設計 使用RESTful設計，確保API端點明確，並使用適當的HTTP方法（如POST用於創建，PUT用於更新）。 設計清晰的請求和響應模型，以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證，確保接收到的數據符合預期格 ...
所有分類