MR匯聚工具步驟 1、需要連上141伺服器 用戶:root 密碼:Richr00t-- 2、【MR匯聚工具】--3、位置 141目錄下進入後切換fast用戶 su fast /home/fast/luohai/Projects 第一步首先需要創建外部表 【MR定位表建立工具】--4、建立MR定位數據 ...
---------------------------------MR匯聚工具步驟-----------------------------------
-- 1、需要連上141伺服器 用戶:root 密碼:Richr00t
-- 2、【MR匯聚工具】
--3、位置 141目錄下進入後切換fast用戶 su fast
/home/fast/luohai/Projects
------------------------第一步首先需要創建外部表-----------------------------
【MR定位表建立工具】
--4、建立MR定位數據的外部表
/home/elastic-combine/yyl/mro_load_hive
--5、執行建立外部表
sh ./mro_load_hive_jingdui.sh 地市名(大寫)、日期(如:20180921)
--6、進入MR定位表建立工具目錄下創建所需要創建的地市外部表
如: sh ./mro_load_hive_jingdui.sh ZHUMADIAN 20180921
--7、需要刪除外部表可以執行
sh ./mro_delete_jingdui.sh
如：sh ./mro_delete_jingdui.sh ZHUMADIAN 20180921
-----------------------創建完外部表需要配置文件----------------------
--9、需要配置的文件有conf、run
bin:大腦
conf:配置文件
jars:存放java包
log: 存放日誌
origin:傳參工具
run:存放shell腳本
sql:存放元數據表
--10、--------------------第二步配置conf目錄下-----------------------------位置/home/fast/luohai/Projects/conf
所需要配置的文件有TOT.conf、TOT_ROAD.conf、TOT_SCENE.conf進入修改文件需要vim
柵格 道路 場景
如 vim TOT.conf vim是一個編譯器只能編譯文件也可以創建文件
1.TOT.conf (CITYNAME、DATE)需要修改的文件
###可以修改也可以不用修改(由素絹發來的郵件為準)
CITYNAME=ZHENGZHOU
###日期必須修改(由素絹發來的郵件為準)
DATE=20180921,20180925
2.TOT_ROAD.conf(CITYNAME、DATE)需要修改的文件
###可以修改也可以不用修改(由素絹發來的郵件為準)
CITYNAME=ZHENGZHOU
###日期必須修改(由素絹發來的郵件為準)
DATE=20180921,20180925
3.TOT_SCENE.conf
###可以修改也可以不用修改(由素絹發來的郵件為準)
CITYNAME=ZHENGZHOU
###日期必須修改(由素絹發來的郵件為準)
DATE=20180921,20180925
---------------------第三部配置run目錄下------------------------------------位置/home/fast/luohai/Projects/run
配置文件run_by_city.sh下的
###必須要修改的地市名(由素絹發來的郵件為準)
也可以多個地市跑 以空格來分隔
CITYNAMES="地市名 地市名"
sh $APP_HOME/run/runMain.sh TOT $CITYNAME (柵格級)
sh $APP_HOME/run/runMain.sh TOT_SCENE $CITYNAME (場景級)
sh $APP_HOME/run/runMain.sh TOT_ROAD $CITYNAME (道路級)
須知:每跑一個地市需要全部打開這三個柵格級、場景級、道路級的文件
配置好開啟run_by_city.sh
sh ./run_by_city.sh 開啟後會出現以下現象
info] 2018-10-19 10:11:28 using project:TOT
[info] 2018-10-19 10:11:28 cities to run:LUOYANG
[info] 2018-10-19 10:11:28 running:LUOYANG
[info] 2018-10-19 10:11:28 fetch confgure cityname:LUOYANG,date:20180921,20180925,database:fastdo_lte_wk5
[info] 2018-10-19 10:11:28 log file is /home/fast/luohai/Projects/log/TOT.log
[info] 2018-10-19 10:11:28 render FINISH.
[info] 2018-10-19 10:11:28 start run spark:TOT
###開啟後出現start run spark:TOT就是正在跑數據
一般跑完需要好幾個小時我們要時刻監控著
###跑完一般會出現兩種情況成功和報錯
###第一種運行成功如下:Succeed
using project:TOT
[info] 2018-10-15 18:07:07 cities to run:ZHOUKOU
[info] 2018-10-15 18:07:07 running:ZHOUKOU
[info] 2018-10-15 18:07:07 fetch confgure cityname:ZHOUKOU,date:20180921,20180925,database:fastdo_lte_wk5
[info] 2018-10-15 18:07:07 log file is /home/fast/luohai/Projects/log/TOT.log
[info] 2018-10-15 18:07:07 render FINISH.
[info] 2018-10-15 18:07:07 start run spark:TOT
[info] 2018-10-15 21:30:40 Succeed end run spark:TOT #出現Succeed就是沒有問題
[info] 2018-10-15 21:30:40 using project:TOT_SCENE
[info] 2018-10-15 21:30:40 cities to run:ZHOUKOU
[info] 2018-10-15 21:30:40 running:ZHOUKOU
[info] 2018-10-15 21:30:40 fetch confgure cityname:ZHOUKOU,date:20180921,20180925,database:fastdo_lte_wk5
[info] 2018-10-15 21:30:40 log file is /home/fast/luohai/Projects/log/TOT_SCENE.log
[info] 2018-10-15 21:30:40 render FINISH.
[info] 2018-10-15 21:30:40 start run spark:TOT_SCENE
[info] 2018-10-15 23:03:08 Succeed end run spark:TOT_SCENE #出現Succeed就是沒有問題
[info] 2018-10-15 23:03:08 using project:TOT_ROAD
[info] 2018-10-15 23:03:08 cities to run:ZHOUKOU
[info] 2018-10-15 23:03:08 running:ZHOUKOU
[info] 2018-10-15 23:03:08 fetch confgure cityname:ZHOUKOU,date:20180921,20180925,database:fastdo_lte_wk5
[info] 2018-10-15 23:03:08 log file is /home/fast/luohai/Projects/log/TOT_ROAD.log
[info] 2018-10-15 23:03:08 render FINISH.
[info] 2018-10-15 23:03:08 start run spark:TOT_ROAD
[info] 2018-10-15 23:38:47 Succeed end run spark:TOT_ROAD #出現Succeed就是沒有問題
###第二種情況 Failed
[info] 2018-10-15 18:07:07 cities to run:ZHOUKOU
[info] 2018-10-15 18:07:07 running:ZHOUKOU
[info] 2018-10-15 18:07:07 fetch confgure cityname:ZHOUKOU,date:20180921,20180925,database:fastdo_lte_wk5
[info] 2018-10-15 18:07:07 log file is /home/fast/luohai/Projects/log/TOT.log
[info] 2018-10-15 18:07:07 render FINISH.
[info] 2018-10-15 18:07:07 start run spark:TOT
[info] 2018-10-15 21:30:40 Failed end run spark:TOT #出現Failed就是有問題
[info] 2018-10-15 21:30:40 using project:TOT_SCENE
[info] 2018-10-15 21:30:40 cities to run:ZHOUKOU
[info] 2018-10-15 21:30:40 running:ZHOUKOU
[info] 2018-10-15 21:30:40 fetch confgure cityname:ZHOUKOU,date:20180921,20180925,database:fastdo_lte_wk5
[info] 2018-10-15 21:30:40 log file is /home/fast/luohai/Projects/log/TOT_SCENE.log
[info] 2018-10-15 21:30:40 render FINISH.
[info] 2018-10-15 21:30:40 start run spark:TOT_SCENE
[info] 2018-10-15 23:03:08 Failed end run spark:TOT_SCENE #出現Failed就是有問題
[info] 2018-10-15 23:03:08 using project:TOT_ROAD
[info] 2018-10-15 23:03:08 cities to run:ZHOUKOU
[info] 2018-10-15 23:03:08 running:ZHOUKOU
[info] 2018-10-15 23:03:08 fetch confgure cityname:ZHOUKOU,date:20180921,20180925,database:fastdo_lte_wk5
[info] 2018-10-15 23:03:08 log file is /home/fast/luohai/Projects/log/TOT_ROAD.log
[info] 2018-10-15 23:03:08 render FINISH.
[info] 2018-10-15 23:03:08 start run spark:TOT_ROAD
[info] 2018-10-15 23:38:47 Failed end run spark:TOT_ROAD #出現Failed就是有問題
出現Failed我們需要檢查是不是外部表沒有創建好，我們需要一一排查
--------------------------------------最後一步去hive里執行龍哥寫好的腳本-----------------------------------------
1.進入hive執行命令
su hive 切換成hive用戶
2.在執行hive就成功進入hive了
hive
3.進入wk5庫
show databases;查看擁有的資料庫
use fastdo_lte_wk5;進入wk5庫
4.需要修改龍哥寫好的腳本的地市名
#在去wk5庫進行匯聚
