下麵列出我搭建hadoop應用環境的文章整理在一起,不定期更新,供大家參考,互相學習!!! 第一篇 HADOOP部分 1.1 hadoop3.2.0的安裝並測試 1.2 編譯Hadoop連接eclipse的插件遇見的一系列錯誤,崩潰的操作 1.3 在eclipse上運行WordCount的操作過程 ...
下麵列出我搭建hadoop應用環境的文章整理在一起,不定期更新,供大家參考,互相學習!!!
第一篇 HADOOP部分
1.2 編譯Hadoop連接eclipse的插件遇見的一系列錯誤,崩潰的操作
第二篇 HIVE與HBASE部分
2.2 centos7下apache-hive-3.1.2-bin的安裝測試
2.3 apache-zookeeper-3.5.5的安裝測試
2.4 hbase-2.2.1配置獨立的zookeeper的安裝與測試
第三篇 SQOOP與ZOOKEEPER部分
3.2 安裝部署kafka集群(kafka版本:kafka_2.12-2.3.0)
第四篇 SPARK與SCALA部分
4.4 scala&sbt+idea+spark使用過程中問題彙總(不定期更新)
4.5 spark應用(分散式估算圓周率+基於Spark MLlib的貸款風險預測)
腳本:
命令 :
Hadoop:
啟動:sbin/start-all.sh 或 start-dfs.sh + start-yarn.sh
停止:stop-all.sh
啟功歷史伺服器:sbin/mr-jobhistory-daemon.sh start jobhistoryserver
MySQL:
啟動:service mysqld start
停止:service mysqld stop
狀態:service mysqld status
Spark:
啟動:sbin/start-all.sh
停止:stop-all.sh
idea:
啟動:bin/idea.s
文件分享:
鏈接:https://pan.baidu.com/s/1e6zz4p-rCbzzE5DxMA4eFw
提取碼:amdl