通過數據交換平臺上傳較大的文件時,經常會出現導入失敗情況,換種方式通過新數據開發平臺(stark)也可以輕鬆實現外部數據與hive的數據關聯。 --第一步、導入csv文件到hive --stark數據開發平臺——>資源管理——>搜索欄右邊+號——>上傳資源(資源類型:選擇普通文件) --第二步、建表 ...
通過數據交換平臺上傳較大的文件時,經常會出現導入失敗情況,換種方式通過新數據開發平臺(stark)也可以輕鬆實現外部數據與hive的數據關聯。
--第一步、導入csv文件到hive
--stark數據開發平臺——>資源管理——>搜索欄右邊+號——>上傳資源(資源類型:選擇普通文件)
--第二步、建表並讓這張表關聯上上傳的csv文件
drop table temp.tmp_site_oppo_did_test$tmptable;
CREATE EXTERNAL TABLE temp.tmp_site_oppo_did_test$tmptable (
did string
,new_date string
) ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' --表示以,為分隔符
stored as textfile;
load data inpath 'hdfs://mgjcluster/stark/resource_83/latest/latest.csv' --上傳的csv文件存儲到hive的路徑(可以通過搜索上傳文件名基本信息中獲取)
overwrite into table temp.tmp_site_oppo_did_test$tmptable; --覆蓋到創建的臨時表