SQOOP的使用方法

来源:https://www.cnblogs.com/yongestcat/archive/2019/09/12/11510507.html
-Advertisement-
Play Games

Sqoop是個命令行工具，用來在Hadoop和rdbms之間傳輸數據。以Hadoop的角度看待數據流向,從rdbms往Hadoop是導入用sqoop import命令,反之從hadoop往rdbms下發數據用sqoop export命令以oracle hive為例子，命令舉例：sqoop impor... ...


Sqoop是個命令行工具，用來在Hadoop和rdbms之間傳輸數據。

以Hadoop的角度看待數據流向,從rdbms往Hadoop是導入用sqoop import命令,反之從hadoop往rdbms下發數據用sqoop export命令

以oracle hive為例子，命令舉例： 

sqoop import -D oraoop.jdbc.url.verbatim=true --hive-import --hive-overwrite --connect jdbc:oracle:thin:@192.168.1.10:1521:orcl --username usernamexx --password passwdxx --table WH_PRG.TB_JSQ_PRD_GRID_MDF -hive-database test --hive-table hivename  --fetch-size 5000 --hive-drop-import-delims --null-string '\\N' --null-non-string '\\N' -m 1

sqoop export -D oraoop.jdbc.url.verbatim=true --connect "jdbc:oracle:thin:@192.168.1.10:1521:orcl" --username usernamexx --password passwdxx --table  ORACLETABLE  --export-dir /user/hive/warehouse/test.db/tablename/* --input-fields-terminated-by '\001' --input-lines-terminated-by '\n' --input-null-string '\\N' --input-null-non-string '\\N'   -m 1

註意：

oracle表名大寫,hive表名保持和創建表時候的大小寫，建表是大寫，這兒就大寫，建表時候小寫，這兒就小寫  

-m 1表示並行度，根據oracle庫的性能自行決定

導入的時候是預設覆蓋，如果hive中有同名錶，會自動刪除重建

導出的時候是追加，要先在oracle測建好空表，而且再次導入時候要把原來的內容清空，否則因為是追加數據會產生重覆數據，欄位順序要對齊，否則可能產生列的錯位

附1：Sqoop導入常規參數意思

參數 參數名稱
others     插件命令附加參數
target-dir     導入HDFS的目標路徑
delete-target-dir    如果指定目錄存在，則先刪除掉
fetch-size    從資料庫中批量讀取記錄數
split-by    按照指定列去分割數據
columns        從表中導出指定的一組列的數據
null-string    字元串類型null時轉義為
null-non-string    非字元串類型null時轉義為
query    查詢語句
where    查詢條件
direct    使用直接導出模式（優化速度）
warehouse-dir    HDFS存放表的根路徑
append        將數據追加到HDFS上一個已存在的數據集上
as-avrodatafile    將數據導入到Avro
as-sequencefile    將數據導入到SequenceFile
as-textfile    將數據導入到普通文本文件（預設）
boundary-query    邊界查詢，用於創建分片（InputSplit）
direct-split-size    分割輸入stream的位元組大小（在直接導入模式下）
inline-lob-limit    設置內聯的LOB對象的大小
compress        啟用壓縮
compression-codec    指定Hadoop的codec方式（預設gzip）
incremental        mode模式
last-value        指定自從上次導入後列的最大值
connect            指定JDBC連接字元串
connection-manager    指定要使用的連接管理器類
driver            指定要使用的JDBC驅動類
username        設置認證用戶名
password        設置認證密碼
verbose            列印詳細的運行信息
connection-param-file    可選，指定存儲資料庫連接參數的屬性文件
hadoop-home        hadoop-home的路徑
enclosed-by        欄位值前後加上指定的字元
escaped-by        雙引號作轉義處理
fields-terminated-by    欄位分隔符
lines-terminated-by    行分隔符
optionally-enclosed-by    強制給欄位值前後都加上指定符號
mysql-delimiters    Mysql預設的分隔符
input-enclosed-by    對欄位值前後指定的字元進行解析
input-escaped-by    對含有轉義雙引號的欄位值作轉義處理
input-escaped-by    導入使用的欄位分隔符
input-lines-terminated-by    導入使用的行分隔符
input-optionally-enclosed-by    導入時強制給欄位值前後都加上指定符號
bindir            生成的java文件、class文件及打包為JAR的JAR包文件輸出路徑
class-name        生成的Java文件指定的名稱
jar-file        合併時引入的jar包
outdir    生成的java文件存放路徑
package-name    包名
map-column-java    映射的數據類型
table    關係資料庫表名
num-mappers    啟動map的數量，預設是4個

附2：Sqoop的import工具抽數的幾種情況
1. Hive表無分區，全量從Oracle中抽取數據到Hive的表中
sqoop import -D mapred.job.queue.name=root.myqueue    \
–connect jdbc:oracle:thin:@192.168.1.128:1521:mydatabase   \
–username jsz                                       \
–password 123456                                     \
–table  mys.test               \
–columns ID,NAME,AGE,SALARY,DATA_DATE \
-m 1                                                             \
–hive-table default.test  \
–create-hive-table \
–hive-drop-import-delims                                        \
–verbose                                                           \
–fetch-size 5000                                                \
–target-dir  /apps/testdata/default/test \
–delete-target-dir \
–hive-overwrite         \
–null-string ‘\\N’      \
–null-non-string ‘\\N’  \
–hive-import;
2. Hive表有分區，增量從Oracle中抽取數據到Hive表中：
sqoop import -D mapred.job.queue.name=root.myqueue   \
–connect jdbc:oracle:thin:@192.168.1.128:1521:mydatabase   \
–username jsz                                       \
–password 123456                                     \
–table  mys.test              \
–columns ID,NAME,AGE,SALARY,LCD \
-m 1                                          \
–hive-partition-key op_day                  \
–hive-partition-value 20160525               \
–where “lcd >= trunc(TO_DATE(‘20160525′,’YYYY-MM-DD’),’dd’) and lcd < trunc(TO_DATE(‘20160526′,’YYYY-MM-DD’),’dd’)”  \
–hive-table default.test_partition  \
–create-hive-table \
–hive-drop-import-delims                                        \
–verbose                                                           \
–fetch-size 5000                                                \
–target-dir  /apps/testdata/default/test_partition \
–delete-target-dir \
–hive-overwrite         \
–null-string ‘\\N’      \
–null-non-string ‘\\N’  \
–hive-import;
3.使用select語句：
sqoop import                            \
-D mapred.job.queue.name=root.myqueue      \
-D oracle.sessionTimeZone=America/Los_Angeles  \
–connect jdbc:oracle:thin:@192.168.1.128:1521:mydatabase    \
–username jsz   \
–password 123456  \
–query “select ID,NAME,AGE,SALARY,DATA_DATE from mys.test WHERE ID = ‘10086’ and \$CONDITIONS” \
–verbose  \
–fetch-size 5000       \
–hive-table default.test  \
–target-dir  /apps/testdata/default/test \
–delete-target-dir \
–fields-terminated-by ‘\001’      \
–lines-terminated-by ‘\n’      \
-m 1           \
–hive-import           \
–hive-overwrite           \
–null-string   ‘\\N’            \
–null-non-string  ‘\\N’           \
–hive-drop-import-delims

Sqoop的export工具導數的情況:

將Hive的數據導入Oracle，整個過程分為三步：

1) 刪除Oracle表的歷史數據
sqoop eval  -D mapred.job.queue.name=root.myqueue    \
–connect jdbc:oracle:thin:@192.168.1.128:1521:mydatabase  \
–username jsz    \
–password 123456  \
–verbose                       \
–e “delete from mys.test”
2) Hive導出到HDFS指定路徑
hive -e “use default;set mapred.job.queue.name=root.myqueue;set hive.insert.into.multilevel.dirs=true;insert overwrite directory ‘/apps/testdata/default/test’ select id,name,age,salary,data_date from default.test;”
3) 將HDFS的數據導入到Oracle中
sqoop export    \
-D mapred.job.queue.name=root.myqueue     \
-D mapred.task.timeout=0     \
–connect jdbc:oracle:thin:@192.168.1.128:1521:mydatabase     \
–username jsz     \
–password 123456    \
–table mys.test     \
–columns ID,NAME,AGE,SALARY,DATA_DATE     \
–export-dir /apps/testdata/default/test     \
–verbose     \
–input-null-string ‘\\N’     \
–input-null-non-string ‘\\N’  \
–input-fields-terminated-by ‘\001’     \
–input-lines-terminated-by ‘\n’     \
-m 1

您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • Linux 伺服器 關閉FTP匿名訪問
    找到vsftpd.conf中的 保存退出 ...
  • MySQL 重置Mysql root用戶賬號密碼
    重置Mysql root用戶賬號密碼 By:授客 QQ：1033553122 問題描述： 使用mysqladmin.exe執行命令時出現以下錯誤提示： mysqladmin: connect to server at 'localhost' failed error: 'Access denied ...
  • 簡易解說拉格朗日對偶（Lagrange duality）
    轉載自https://www.cnblogs.com/90zeng/p/Lagrange_duality.html，本人覺得講的非常好！ 1.原始問題 假設是定義在上的連續可微函數（為什麼要求連續可微呢，後面再說，這裡不用多想），考慮約束最優化問題： 稱為約束最優化問題的原始問題。 現在如果不考慮約 ...
  • Window 伺服器安裝MongoDB 設置外網可訪問
    1.下載MongoDB www.mongodb.com/download-center#community 2.下一步下一步安裝. 安裝完成後配置環境變數 我的的預設安裝，環境變數地址 C:\Program Files\MongoDB\Server\4.2\bin 3. 添加配置在C:\Progra ...
  • linux-nginx
    IO分為記憶體IO，網路IO，磁碟IO IO模型： 同步IO模型： 同步阻塞：一個進程對應一個IO，進程在運行時，不能去乾別的，一直等待 同步非阻塞：一個進程對應一個IO，進程運行時，可以去做別的事，等待別的程式的數 據傳輸，進程會定時詢問是否準備完成 多路訪問的IO模型--IO復用（select p... ...
  • 細看國產資料庫，從根上知道如何學習？
    無論是做資料庫運維還是資料庫開發，都是圍繞著資料庫吃飯。隨著國產風的吹起，相信很多小伙伴和我一樣，迷茫加尷尬。為什麼迷茫呢？目前國產資料庫也已經不下幾十個了，知名的至少也十多個了，這麼多，該怎麼去挖掘出適合的呢？為什麼尷尬呢？是以前太過於保守，主要著眼在了大廠的DB，尤其是國外的DB，現在一下子回歸 ...
  • 創建存儲過程提示：名稱已由現有對象使用
    如果存儲過程和表名無重覆，這個時候要註意的是，你的索引名稱是否在用戶中有重覆。 <!--5f39ae17-8c62-4a45-bc43-b32064c9388a:W3siYmxvY2tJZCI6IjMwNTMtMTU2ODI2NzY4NTY0NCIsImJsb2NrVHlwZSI6InBhcmFnc ...
  • Mysql—用戶表詳解(mysql.user)
    MySQL是一個多用戶管理的資料庫，可以為不同用戶分配不同的許可權，分為root用戶和普通用戶，root用戶為超級管理員，擁有所有許可權，而普通用戶擁有指定的許可權。 MySQL是通過許可權表來控制用戶對資料庫訪問的，許可權表存放在mysql資料庫中，主要的許可權表有以下幾個：user,db,host,tabl ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發（一）：使用.NET MAUI開發第一個安卓APP
    移動開發（一）：使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說，近來想嘗試開發一款安卓APP，考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP，畢竟是使用Visual Studio開發工具，使用起來也比較的順手，結合微軟官方的教程進行了安卓 ...
  • wpf ToggleButton選中效果和一個登錄界面
    前言 QuestPDF 是一個開源 .NET 庫，用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫，它徹底改變了我們生成 PDF 文檔的方 ...
  • 彈幕樹洞項目功能新增篇
    項目地址 項目後端地址： https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址： ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址： http://tree ...
  • 第27篇 sqlserver2022詳細安裝步驟
    話不多說，直接開乾 一.下載 1.官方鏈接下載： https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe，運行開始下載SQL server； 二. ...
  • .NET 開源高性能 MQTT 類庫
    前言 隨著物聯網（IoT）技術的迅猛發展，MQTT（消息隊列遙測傳輸）協議憑藉其輕量級和高效性，已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫，為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog文檔翻譯系列（六） - 可用的接收器、增強器、格式化輸出
    Serilog支持多種接收器用於日誌存儲，增強器用於添加屬性，LogContext管理動態屬性，支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項，適用於不同需求。 ...
  • 警惕 Visual Studio 屬性求值副作用導致邏輯不符合預期
    目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據，爬取信息時需要模擬瀏覽器行為，否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下： 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • [使用目前最新版]HybridCLR6.9.0+YooAsset2.2.4實現純C# Unity熱更新方案 (一)
    1.前言 什麼是熱更新 游戲或者軟體更新時，無需重新下載客戶端進行安裝，而是在應用程式啟動的情況下，在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR，Xlua，ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles，Addressable， ...
  • 在 ASP.NET Core Web API 中使用操作篩選器統一處理通用操作
    本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺，其實像阿裡雲，騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後，它會送 ...
  • 第28篇 如何.net中實現高效可靠數據同步api
    通過以下方式可以高效，並保證數據同步的可靠性 1.API設計 使用RESTful設計，確保API端點明確，並使用適當的HTTP方法（如POST用於創建，PUT用於更新）。 設計清晰的請求和響應模型，以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證，確保接收到的數據符合預期格 ...
所有分類