Hive的安裝與部署(MySQL作為元數據) (開始之前確保Hadoop環境已經啟動,確保Linux下的MySQL已經安裝好) (1)下載安裝包 可從apache上下載hive安裝包:http://mirror.bit.edu.cn/apache/hive/ (2)壓縮包解壓: (2)移動至指定目錄 ...
Hive的安裝與部署(MySQL作為元數據)
(開始之前確保Hadoop環境已經啟動,確保Linux下的MySQL已經安裝好)
- 1. 安裝Hive
(1)下載安裝包
可從apache上下載hive安裝包:http://mirror.bit.edu.cn/apache/hive/
(2)壓縮包解壓:
(2)移動至指定目錄:(這裡是移動至/usr/local/下)
- 2. 為Hive建立相應的MySQL賬戶,並賦予足夠的許可權:
(1)登錄mysql:
(2)建立hive用戶:
(3)賦予足夠許可權:
grant 許可權1,許可權2,...許可權n on 資料庫名稱.表名稱 to 用戶名@用戶地址
賦予hive用戶對所有資料庫所有表的所有許可權且任何地址都能建立連接“%”,並具有授予權。
(4)flush privileges刷新MySQL的系統許可權相關表:
(5)預設情況下Mysql只允許本地登錄,所以需要修改配置文件將地址綁定給註釋掉:
修改如下:
(6)重啟mysql服務:
重啟命令:
service mysql restart
- 3. 建立Hive專用的元資料庫
(1)使用hive用戶登錄mysql:
(2)創建Hive專用元資料庫:
- 4. 配置環境變數:
編輯環境變數:
sudo gedit /etc/profile
添加如下內容:
讓修改立即生效:
source /etc/profile
- 5. 在Hive的conf目錄下的文件“hive-site.xml”中增加如下配置
(1)複製hive-default.xml.template創建hive-site.xml,一個是系統預設的一個是自定義的,hive優先以自定義的為準。
(2) 修改hive-site.xml文件(在這之前,需先將hive-site.xml中原有的東西全部刪掉,然後添加下列內容:)
<property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql://localhost/hive?createDatabaseIfNotExist=true</value> </property> <property> <name>javax.jdo.option.ConnectionDriverName</name> <value>com.mysql.jdbc.Driver</value> </property> <property> <name>javax.jdo.option.ConnectionUserName</name> <value>hive</value> </property> <property> <name>javax.jdo.option.ConnectionPassword</name> <value>password</value> </property>
“hive?createDatabaseIfNotExist=true”如果hive資料庫不存在就自動創建一個資料庫
- 6. 把MySQL的JDBC驅動包複製到Hive的lib目錄下(略,下載地址:https://dev.mysql.com/downloads/connector/j/)
(驅動包名為:mysql-connector-java-5.1.46-bin.jar)
- 7. 初始化:
出現如下提示表示初始化成功:
- 8. 啟動hive並測試(確保hadoop集群已經啟動)
在Hive中創建表xp:
在mysql中查看:(use hive切換到資料庫hive)
顯示 hive 資料庫中的數據表:
查看 hive 的元數據信息:
到此Hive集成Mysql作為元數據已完成。