hadoop3.3 安裝配置sqoop1.4.7

一：在hadoop3.3中安裝配置sqoop1.4.7

前言：

sqoop功能已經非常完善了，沒有什麼可以更新的了，官方停止更新維護了。因此官方集成的hadoop包停留在了2.6.0版本,在hadoop3.3.0版本會提示類版本過低錯誤，但純凈版sqoop有缺少必須的第三方庫,所以將這兩個包下載下來，提取部分sqoop_hadoop2.6.0版本的jar包放到純凈版sqoop的lib目錄下，在sqoop配置文件中加入獲取當前環境中的hive及hadoop的lib庫來使用.

配置sqoop1.4.7 支持hadoop3.3

1:下載sqoop1.4.7的兩個版本

http://archive.apache.org/dist/sqoop/1.4.7

sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz # 只用到裡面的jar包
sqoop-1.4.7.tar.gz # 上傳到伺服器

2：提取sqoop-1.4.7.bin__hadoop-2.6.0根目錄下的sqoop-1.4.7.jar放到sqoop-1.4.7根目錄，正常純凈版sqoop是沒有這個jar包的

3：提取lib目錄下的這三個必須的jar包放到sqoop-1.4.7/lib/目錄下，正常純凈版sqoop的lib目錄下是沒有文件的。

 4：提取出sqoop-1.4.6.jar放在hadoop的lib下

添加sqoop配置信息，引用hadoop，hive的lib庫

sqoop-1.4.7/conf 目錄下的sqoop-env.sh文件追加如下信息

export HADOOP_COMMON_HOME=/export/server/hadoop-3.3.0
export HADOOP_MAPRED_HOME=/export/server/hadoop-3.3.0
export HIVE_HOME=/export/server/apache-hive-3.1.2-bin
export HIVE_CONF_DIR=/export/server/apache-hive-3.1.2-bin/conf
export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:$HIVE_HOME/lib/*

添加sqoop環境變數

在/etc/profile 中添加

export SQOOP_HOME=/export/server/sqoop/
export PATH=$PATH:$SQOOP_HOME/bin:$SQOOP_HOME/bin

二：sqoop 常見的使用方式

sqoop的數據導入操作

1：sqoop help  查看幫助文檔命令

2：查看資料庫中的所有表

sqoop list-tables \
--connect jdbc:mysql://192.168.52.150:3306/hue \
--username root \
--password 123456 

3：如何將MySQL中的數據全量的導入到HDFS中（全量）

命令1:
sqoop import \
--connect jdbc:mysql://192.168.50.150:3306/test \
--username root \
--password root \
--table emp

說明:
    預設情況下, 會將數據導入到操作sqoop用戶的HDFS的家目錄下,在此目錄下會創建一個以導入表的表名為名稱文件夾, 在此文件夾下莫每一條數據會運行一個mapTask, 數據的預設分隔符號為 逗號
    
思考: 是否更改其預設的位置呢?
sqoop import \
--connect jdbc:mysql://192.168.52.150:3306/test \
--username root \
--password 123456 \
--table emp \
--delete-target-dir \
--target-dir '/sqoop_works/emp_1'

思考: 是否調整map的數量呢?
sqoop import \
--connect jdbc:mysql://192.168.52.150:3306/test \
--username root \
--password 123456 \
--table emp \
--delete-target-dir \
--target-dir '/sqoop_works/emp_2' \
--split-by id \
-m 2 

思考: 是否調整預設分隔符號呢? 比如調整為 \001
sqoop import \
--connect jdbc:mysql://192.168.52.150:3306/test \
--username root \
--password 123456 \
--table emp \
--fields-terminated-by '\001' \
--delete-target-dir \
--target-dir '/sqoop_works/emp_3' \
-m 1 

4：將MySQL中的數據全量的導入到hive中

以emp_add 表為例

第一步: 在HIVE中創建一個目標表
create database hivesqoop;
use hivesqoop;
create table hivesqoop.emp_add_hive(
    id  int,
    hno string,
    street string,
    city string
) 
row format delimited fields terminated by '\t'
stored as  orc ;

第二步: 通過sqoop完成數據導入操作
sqoop import \
--connect jdbc:mysql://192.168.52.150:3306/test \
--username root \
--password 123456 \
--table emp_add \
--hcatalog-database hivesqoop \
--hcatalog-table emp_add_hive \
-m 1 

5：如何將MySQL中的數據條件的導入到HDFS中

方式一: 通過 where的方式
sqoop import \
--connect jdbc:mysql://192.168.52.150:3306/test \
--username root \
--password 123456 \
--table emp \
--where 'id > 1205' \
--delete-target-dir \
--target-dir '/sqoop_works/emp_2' \
--split-by id \
-m 2 

方式二: 通過SQL的方式
sqoop import \
--connect jdbc:mysql://192.168.52.150:3306/test \
--username root \
--password 123456 \
--query 'select deg  from emp where 1=1 AND \$CONDITIONS' \
--delete-target-dir \
--target-dir '/sqoop_works/emp_4' \
--split-by id \
-m 1 

註意: 
    如果SQL語句使用 雙引號包裹,  $CONDITIONS前面需要將一個\進行轉義, 單引號是不需要的

6：如何通過條件的方式導入到hive中 (後續模擬增量導入數據)

sqoop import \
--connect jdbc:mysql://192.168.52.150:3306/test \
--username root \
--password 123456 \
--table emp_add \
--where 'id > 1205' \
--hcatalog-database hivesqoop \
--hcatalog-table emp_add_hive \
-m 1 

或者:
sqoop import \
--connect jdbc:mysql://192.168.52.150:3306/test \
--username root \
--password 123456 \
--query 'select * from emp_add where id>1205 and $CONDITIONS'
--hcatalog-database hivesqoop \
--hcatalog-table emp_add_hive \
-m 1 

sqoop的數據導出操作

需求: 將hive中 emp_add_hive 表數據導出到MySQL中

# 第一步: 在mysql中創建目標表 (必須創建)
create table test.emp_add_mysql(
    id     INT  ,
    hno    VARCHAR(32) NULL,
    street VARCHAR(32) NULL,
    city   VARCHAR(32) NULL
);

# 第二步: 執行sqoop命令導出數據
sqoop export \
--connect jdbc:mysql://192.168.52.150:3306/test \
--username root \
--password 123456 \
--table emp_add_mysql \
--hcatalog-database hivesqoop \
--hcatalog-table emp_add_hive \
-m 1 

sqoop相關常用參數