背景：從軟通出來，告別華為外包，離開H區，進入了一家搞大數據的創業公司，感覺周圍都好陌生，記錄下自己大數據的career！ 2019-03-4新的徵程-入職第一天： 一、辦理入職手續 公司人比較少，沒有入職培訓等操作；用了企業微信和企業郵箱，填下個人信息，然後開搞； 二、搭建Java開發環境和虛擬機 ...
背景：從軟通出來，告別華為外包，離開H區，進入了一家搞大數據的創業公司，感覺周圍都好陌生，記錄下自己大數據的career！
2019-03-4新的徵程-入職第一天：
一、辦理入職手續
公司人比較少，沒有入職培訓等操作；用了企業微信和企業郵箱，填下個人信息，然後開搞；
二、搭建Java開發環境和虛擬機、Linux、Xshell等
Windows下使用Xshell時出現丟失msvcr110.dll等dll，可以使用該鏈接解決https://blog.csdn.net/franck_lou/article/details/78438268
三、學習編譯Ranger工程，熟悉相關部署和使用
剛開始接觸公司自己搭建的Ranger工程，感覺好難受；Ranger是開源的，公司下載了源碼併在原有結構上在增加新功能；Ranger裡面好多組件都沒用過，感覺很陌生，難受馬非，於是感覺今天先弄明白這些東西時什麼，之後再仔細研究它們時怎麼存儲數據、讀/寫文件和使用等。
1、Ranger 簡介
Apache Ranger提供一個集中式安全管理框架，它可以對Hadoop生態的組件如Hive、Hbase進行細粒度的數據訪問控制；通過操作Ranger控制台，管理員可以輕鬆的通過配置策略來控制用戶訪問HDFS文件夾、HDFS文件、資料庫、表和欄位許可權，這些策略可以為不同的用戶和組來設置，同時許可權可與hadoop無縫對接；並且提供了Web UI方便管理員進行操作。
2、什麼是Hbase
HBase是一種Hadoop資料庫，經常被描述為一種稀疏的、分散式的、可持續化的、多維有序映射，它是基於行鍵、列鍵和時間戳建立索引的，是一個可以隨機訪問的存儲和檢索數據的平臺；HBase不限制存儲的數據種類，允許動態的、靈活的數據模型，不用SQL語言，也不強調數據之間的關係；HBase被設計成在一個伺服器集群上運行，可以相應地橫向擴展。
3、什麼是Hive
a. Hive由Facebook實現並開源；
b. 是基於Hadoop的一個數據倉庫工具；
c. 可以將結構化的數據映射為一張資料庫表，並提供HQL(Hive SQL)查詢功能；
d. 底層數據是存儲在HDFS上的；
e. Hive的本質是將SQL 語句轉換為MapReduce 任務執行，使不熟悉MapReduce的用戶很方便的利用HQL處理和計算HDFS上的結構化的數據，適用於離線的批量數據計算；
f. MapReduce是一種編程模型，用於大規模數據集(大於1TB)的並行運算。
4、什麼是YARN
Apache Hadoop YARN(Yet Another Resource Negotiator，另一種資源協調者)是一種新的Hadoop資源管理器，它是一個通用資源管理系統，可為上層應用提供統一的資源管理和調度；它將資源管理和處理組件分開，它的引入為集群在利用率、資源統一管理和數據共用等方面帶來了巨大的好處。
5、什麼是Hadoop
Hadoop是一個開源框架，它允許在整個集群使用簡單編程模型電腦的分散式環境存儲並處理大數據；它的目的是從單一的伺服器到上千台機器的擴展，每一個台機都可以提供本地計算和存儲。
6、什麼是KNOX
Knox是Apache Hadoop生態中REST API和應用的網關，Apache Knox是一個通過REST API和UI與Apache Hadoop部署交互的應用網關；Knox網關為所有與Hadoop集群的REST和HTTP交互提供
了一個單獨的訪問點。(REST描述的是在網路中client和server的一種交互形式)
7、什麼是HDFS
HDFS(Hadoop Distributed File System)是Hadoop項目的核心子項目，是分散式計算中數據存儲管理的基礎，是基於流數據模式訪問和處理超大文件的需求而開發的，可以運行於廉價的商用伺服器上；它所具有的高容錯性、高可靠性、高擴展性、高獲得性和高吞吐率特征為海量數據提供了不怕故障的存儲，為超大數據集(Large Data Set)的應用處理帶來了很多便利。
四、吐槽
1、今天上班用的是win10系統，win10需要以管理員身份打開dos視窗，才可以修改執行某些特殊命令；
2、上班第一天沒有把Ranger工程自己編譯出來，難受；
3、第一天晚上就加班了，還被嫌棄了，要講究工作效率，在上班時間完成任務，該加班的時候再加班，難受；
4、建議大家有事沒事都下個虛擬機玩玩，Linux和Xshell等操作熟悉下吧，又被嫌棄了，難受馬非。
