hadoop安全目錄：

1. kerberos（已發佈）

2. elasticsearch（已發佈）http://blog.51cto.com/chenhao6/2113873

3. knox

4. oozie

5. ranger

6. apache sentry

簡介：

       從運維青銅到運維白銀再到運維黃金，這裡就要牽扯到方向問題也就是裝備，根據自己的愛好，每個人都應該選擇一個適合自己和喜歡自己的一個職業技術方向，如：大數據安全，開發運維，雲計算運維等等。而掌握的越多前言技術也就是更多的裝備，才能更好的在it行業混下去，畢竟it技術更新太快，初級篇和中級篇前面已介紹。

如果你想瞭解大數據的學習路線，想學習大數據知識以及需要免費的學習資料可以加群：784789432.歡迎你的加入。

初級篇：詳解Linux運維工程師入門必備技能（青銅）

中級篇：詳解Linux運維工程師打怪升級篇（白銀）

現在給大家介紹大數據安全的正式面目：

1.大數據基本組件

2. Hadoop安全背景

 共用集群

 按照業務或應用的規則劃分資源隊列，並分配給

特定用戶

 HDFS上存放各種數據，包括公共的、機密的

 安全認證：確保某個用戶是自己聲稱的那個用戶

 安全授權：確保某個用戶只能做他允許的那些操作

如果你想瞭解大數據的學習路線，想學習大數據知識以及需要免費的學習資料可以加群：784789432.歡迎你的加入。

3. 設備說明

4. kerberos基本概念：

 Principal(安全個體)：被認證的個體，有一個名字和口令

 KDC(key distribution center ) : 是一個網路服務，提供ticket 和臨時會話密鑰

 Ticket：一個票據，客戶用它來向伺服器證明自己的身份，包括客戶標識、會話密鑰、時間戳。

 AS (Authentication Server)： 認證伺服器

 TGS(Ticket Granting Server)： 許可證伺服器

 TGT：Ticket-granting Ticket

5. kerberos認證過程：

6. 集群啟用Kerberos認證

裝KDC Server

1. 安裝一個新的KDC Server（任意一個集群主機，這裡hdp141為例）

2. 打開KDC Server的配置文件

# vi /etc/krb5.conf

修改文件中的[realms]部分，將為屬性kdc和admin_server設置的預設值“kerberos.example.com”替換成實際KDC server的主機名。在下麵的例子中，“kerberos.example.com”被替換成了 “my.kdc.server”。

3. （可選）自定義realms配置（EXAMPLE.COM修改為CESHI.COM，下麵例子都為CESHI.COM）

4.創建Kerberos資料庫

創建過程中需要輸入master key。

5.啟動KDC

6.創建kerberos Admin

 通過創建一個admin principal創建KDC admin，需要輸入principal的密碼。

打開KDC ACL文件，確認admin principal在KDC ACL中擁有許可權，若沒有對應的域則需要添加。

如果修改了文件kadm5.acl，那麼你就必須重啟kadmin進程

7.啟用Kerberos保護

 安裝JCE

必須用官網下載的JCE覆蓋本地已有的JCE，否則將缺少供Kerberos使用的加密方式

在Ambari server所在的主機和集群中的所有主機上，根據使用的JDK版本選擇合適的JCE策略文件。

• Oracle JDK 1.7:

http://www.oracle.com/technetwork/java/javase/downloads/jce-7-

download-432124.html

• Oracle JDK 1.8:

http://www.oracle.com/technetwork/java/javase/downloads/jce8-

download-2133166.html

 在Ambari Server所在主機和集群中的所有主機上，添加unlimited security policy JCE jars

到目錄$AMBARI_SERVER_JAVA_HOME/jre/lib/security/下。

註意：在所有的主機上，JCE相關的包都必須解壓到配置文件/etc/ambari-server/conf/ambari.properties中屬性java.home所指定的JDK目錄下

重啟Ambari Server（ambari server伺服器hdp140）

8.運行Kerberos保護嚮導

 1. 確認KDC已經安全和正確配置，並且已經在集群的所有主機上配置好JCE。

 2. 登錄Ambari Web，打開管理員 > Kerberos

 3.點擊啟用Kerberos，啟用安裝嚮導，選擇條件檢查

 4.提供關於KDC和管理員賬號的信息

KDC相關信息請參考配置文件/etc/krb5.conf

 5.ambari會在集群的主機上安裝Kerberos客戶端，然後通過測試是否能創建principal，生成keytab和分配Keytab來測試是否能連接KDC。

自定義Hadoop使用的Kerberos identities

 6.確認你的配置。你可以通過頁面下載自動創建的包含principals和Keytabs的CSV文件。

 7.停止服務

 8.啟用kerberos

Keytabs保存在主機的/etc/security/keytabs目錄下。

 9.啟動和測試服務

啟動和測試服務成功後點擊完成以結束Kerberos的啟用。

 10.查看已啟用的Kerberos配置

到這裡kerberos安裝完成。

高級選項：

為Ambari Server設置Kerberos(可選項)

1. 使用kadmin在你的KDC所在的主機(hdp141)為Ambari Server創建一個principal。(ambari-server為自定義名)

2. 為此principal生成一個Keytab

3. 將單前目錄生成的Keytab拷貝到Ambari Server所在的集群。確定該文件有合適的許可權，能夠被啟動Ambari Server守護進程所訪問。

4. 停止ambari server

5. 運行setup-security命令，設置JAAS。標紅部分為需要設置部分。

A. 選擇3，Setup Ambari kerberos JAAS configuration

B. 輸入第一步為Ambari Server設置的principal名

C. 輸入Ambari principal的Keytab所在路徑

開始實測：

1.新建測試用戶

普通用戶需要安裝ranger（後面介紹）管理許可權。

列出所有用戶

創建測試用戶

 登錄驗證

# kinit test  #登陸

ceshi123456.

退出登陸狀態

集群登錄與授權(hdfs用戶)

未使用kerberos用戶認證前執行

使用kerberos用戶認證

此時test用戶預設有查看許可權，無目錄授權

換到hdfs用戶下,初始化hdfs

查看hdfs的Kerberos用戶名

改變目錄屬性：hadoop fs -chown test:hdfs  /test

使用test用戶登錄

修改密碼和重新生成

生成新的多用戶使用keytab文件

創建keytab文件(生成到當前文件夾下)

案例：將hive和hdfs的keytab集成到同一個keytab文件中

1. 查看所有princs

2. 添加hdfs的princs的keytab到hdfs-hive.keytab

3. 添加hive的princs的keytab到hdfs-hive.keytab

查看生成的hdfs-hive.keytab

使用生成的Keytab文件登錄

修改租期

 1.修改全局租期

#重新啟動

2.手動修改用戶租期時間

#應用例子

退出後，重新啟動

3.使用spark任務測試kerberos下的作業提交

1.指定spark用戶和密碼

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18

# klist -k spark.headless.ke 您的分享是我們最大的動力! -Advertisement- 更多相關文章 遠程連接Oracle 伺服器 解決Oracle查詢中文亂碼 Dos方法： 依托於 目錄下的文件 使用plsql developer 客戶端軟體進行連接 需要配置一下： 就是把Dos的客戶端配置進來 然後，把伺服器端的文件拷貝到你的的機器 並設置TNS_ADMIN環境變數為這個目錄（不要中文 空格 符號等的目錄） 這樣就登陸成功了 解決中文亂碼問題 修改sco ... Hive數據倉庫與企業級優化 一 數據倉庫 1 什麼是數據倉庫 數據倉庫，英文名稱為Data Warehouse，可簡寫為DW或DWH。數據倉庫，是為企業所有級別的決策制定過程，提供所有類型數據支持的戰略集合。它出於分析性報告和決策支持目的而創建。為需要業務智能的企業，提供指導業務流程改進、監視時間、成本、質量以及控制。 2 數 ... MySQL資料庫 : 基本語句 mysql -uroot -p 登陸資料庫 select now(); 顯示當前時間 \q 退出 show databases; 顯示資料庫 create database 資料庫名 charset=utf8; 創建資料庫 drop database 資料庫名字; 刪除資料庫 use 資料庫名 切換 ... VM上Hadoop3.1偽分散式模式搭建 https://www.cnblogs.com/asker009/p/9126354.html 最近要搭建一個Hadoop做實驗，因為版本的問題遇到不少的坑，本文記錄VM上搭建的CentOS7.0+Hadoop3.1偽分散式的整個過程。 CentOS7.0安裝這裡不贅述。 Hadoop下載3.1。 ... hadoop docker集群搭建 獲取鏡像 ~~~bash 本機內 docker pull ubuntu:16.04 ~~~ 編排鏡像 1. 啟動一個容器 ~~~bash 本機內 docker run i t name master ubuntu:16.04 ~~~ 2. 在容器內進行安裝配置 ~~~bash 容器內 apt upd ... [MYSQL][1]創建，修改，刪除表 查看有哪些資料庫： 創建，刪除資料庫： 查看有哪些表： 創建，刪除表： 查看表結構： 設置表的主鍵： 設置，刪除表的外鍵： 子表的外鍵關聯必須是父表的主鍵，而且數據類型必須一致。 新增欄位： 刪除欄位： 修改欄位排列位置： 更改表的存儲引擎： 刪除被其他表關聯的父表時，應該先刪除子表的外鍵約束，然後 ... MySQL必知必會 pdf完整版 需要學習的朋友可以通過網盤下載： http://tadown.com/fs/8yi6be9nsehu9e921/內容簡介 · · · · · · 《MySQL必知必會》MySQL是世界上最受歡迎的資料庫管理系統之一。書中從介紹簡單的數據檢索開始，逐步深入一些複雜的內容，包括聯結的使用、子查詢、正則表 ... 大數據開發你需要知道的十個技術 前言 “當你不創造東西時，你只會根據自己的感覺而不是能力去看待問題。” – WhyTheLuckyStiff 彙總一些自己在大數據路上走過的彎路，願大家不再掉坑… 1.分散式存儲 傳統化集中式存儲存在已有一段時間。但大數據並非真的適合集中式存儲架構。Hadoop設計用於將計算更接近數據節點，同時採用 ... 一周排行 -Advertisement- 移動開發（一）：使用.NET MAUI開發第一個安卓APP 移動開發（一）：使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說，近來想嘗試開發一款安卓APP，考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP，畢竟是使用Visual Studio開發工具，使用起來也比較的順手，結合微軟官方的教程進行了安卓 ... wpf ToggleButton選中效果和一個登錄界面 前言 QuestPDF 是一個開源 .NET 庫，用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫，它徹底改變了我們生成 PDF 文檔的方 ... 彈幕樹洞項目功能新增篇 項目地址 項目後端地址： https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址： ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址： http://tree ... 第27篇 sqlserver2022詳細安裝步驟 話不多說，直接開乾 一.下載 1.官方鏈接下載： https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe，運行開始下載SQL server； 二. ... .NET 開源高性能 MQTT 類庫 前言 隨著物聯網（IoT）技術的迅猛發展，MQTT（消息隊列遙測傳輸）協議憑藉其輕量級和高效性，已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫，為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ... Serilog文檔翻譯系列（六） - 可用的接收器、增強器、格式化輸出 Serilog支持多種接收器用於日誌存儲，增強器用於添加屬性，LogContext管理動態屬性，支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項，適用於不同需求。 ... 警惕 Visual Studio 屬性求值副作用導致邏輯不符合預期 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據，爬取信息時需要模擬瀏覽器行為，否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下： 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ... [使用目前最新版]HybridCLR6.9.0+YooAsset2.2.4實現純C# Unity熱更新方案 (一) 1.前言 什麼是熱更新 游戲或者軟體更新時，無需重新下載客戶端進行安裝，而是在應用程式啟動的情況下，在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR，Xlua，ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles，Addressable， ... 在 ASP.NET Core Web API 中使用操作篩選器統一處理通用操作 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺，其實像阿裡雲，騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後，它會送 ... 第28篇 如何.net中實現高效可靠數據同步api 通過以下方式可以高效，並保證數據同步的可靠性 1.API設計 使用RESTful設計，確保API端點明確，並使用適當的HTTP方法（如POST用於創建，PUT用於更新）。 設計清晰的請求和響應模型，以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證，確保接收到的數據符合預期格 ... 所有分類 NET技術 編程語言 軟件設計 WEB前端 手機開發 數據庫技術 操作系統