Hadoop集群搭建-01前期準備

来源:https://www.cnblogs.com/finch-xu/archive/2019/07/24/11239056.html
-Advertisement-
Play Games

"Hadoop集群搭建 05安裝配置YARN" "Hadoop集群搭建 04安裝配置HDFS " "Hadoop集群搭建 03編譯安裝hadoop" "Hadoop集群搭建 02安裝配置Zookeeper" "Hadoop集群搭建 01前期準備" 整個搭建hadoop集群的流程,包括 1. 前期準備 ...


Hadoop集群搭建-05安裝配置YARN

Hadoop集群搭建-04安裝配置HDFS 

Hadoop集群搭建-03編譯安裝hadoop

Hadoop集群搭建-02安裝配置Zookeeper

Hadoop集群搭建-01前期準備

整個搭建hadoop集群的流程,包括

  1. 前期準備
  2. 安裝zookeeper並配置環境
  3. 編譯安裝hadoop並啟動
  4. 安裝HDFS管理namenode和dataname管理集群硬碟資源
  5. 安裝啟動yarn建立MapReduce管理cpu和記憶體資源

01前期準備:

1.部署環境

  • VMware15
  • CentOS7
  • jdk8

 首先啟動一臺centos7的虛擬機,配置華為雲yum源

[root@localhost ~]# cp -a /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.bak
[root@localhost ~]# wget -O /etc/yum.repos.d/CentOS-Base.repo https://repo.huaweicloud.com/repository/conf/CentOS-7-reg.repo
[root@localhost ~]# yum clean all
[root@localhost ~]# yum makecache
[root@localhost ~]# yum update -y

然後安裝一些亂七八糟的常用軟體

[root@localhost ~]# yum install -y openssh-server vim gcc gcc-c++ glibc-headers bzip2-devel lzo-devel curl wget openssh-clients zlib-devel autoconf automake cmake libtool openssl-devel fuse-devel snappy-devel telnet unzip zip net-tools.x86_64 firewalld systemd

2.關閉虛擬機的防火牆和SELinux設置

[root@localhost ~]# firewall-cmd --state
[root@localhost ~]# systemctl stop firewalld.service
[root@localhost ~]# systemctl disable firewalld.service
[root@localhost ~]# systemctl is-enabled firewalld.service
[root@localhost ~]# /usr/sbin/sestatus -v  查看selinux的狀態
[root@localhost ~]# vim /etc/selinux/config
#修改狀態為關閉
SELINUX=disabled
[root@localhost ~]# reboot

3.安裝jdk8並配置環境變數

下載地址http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

[root@localhost ~]# rpm -ivh jdk-8u144-linux-x64.rpm
[root@localhost ~]# vim /etc/profile
#修改環境變數,在文件末尾添加如下
export JAVA_HOME=/usr/java/jdk1.8.0_144
export JRE_HOME=$JAVA_HOME/jre
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

修改後只是對應此次用戶此次會話生效,希望永久全局生效,就要

[root@localhost ~]# source /etc/profile

4.安裝ntpdate服務,每次虛擬機掛起重新啟用後方便同步時間

[root@localhost ~]# yum install -y ntp-tools
[root@localhost ~]# ntpdate ntp1.aliyun.com

5.創建hadoop用戶和用戶組並加入wheel組

[root@localhost ~]# useradd hadoop
[root@localhost ~]# passwd hadoop

只允許wheel組內用戶可以通過su - root命令登錄root用戶,提高安全性

[root@localhost ~]# sed -i 's/#auth\t\trequired\tpam_wheel.so/auth\t\trequired\tpam_wheel.so/g' '/etc/pam.d/su'
[root@localhost ~]# cp /etc/login.defs /etc/login.defs_bak
[root@localhost ~]# echo "SU_WHEEL_ONLY yes" >> /etc/login.defs

添加hadoop用戶進wheel組

[root@localhost ~]# gpasswd -a hadoop wheel
[root@localhost ~]# cat /etc/group | grep wheel     查看hadoop有沒有加入到wheel組

查看用戶組配置

6.配置虛擬機的hosts文件

[root@localhost ~]# vim /etc/hosts
192.168.10.3 nn1.hadoop   #這個是本機ip,主機名稍後一起配置
192.168.10.4 nn2.hadoop
192.168.10.5 s1.hadoop
192.168.10.6 s2.hadoop
192.168.10.7 s3.hadoop

7.用虛擬機克隆功能克隆另外4台虛擬機

完成後_分別更改每一臺_的主機名並配置靜態ip,要求和上面hosts文件內的一致並對應

[root@localhost ~]# hostnamectl set-hostname nn1.hadoop
[root@localhost ~]# vim /etc/sysconfig/network-scripts/ifcfg-ens33
TYPE="Ethernet"
PROXY_METHOD="none"
BROWSER_ONLY="no"
BOOTPROTO="static"      #這裡修改為static
IPADDR="192.168.10.3"   #這裡添加為你的每台虛擬機對應的ip
NETMASK="255.255.255.0" #添加
GATEWAY="192.168.10.2"  #添加為你虛擬機內的網關
DNS="192.168.10.2"      #添加
NM_CONTROLLED="no"      #添加,必然改完文件自動生效,可能直接網路就掛掉了
DEFROUTE="yes"
IPV4_FAILURE_FATAL="no"
IPV6INIT="yes"
IPV6_AUTOCONF="yes"
IPV6_DEFROUTE="yes"
IPV6_FAILURE_FATAL="no"
IPV6_ADDR_GEN_MODE="stable-privacy"
NAME="ens33"
UUID="49f05112-b80b-45c2-a3ec-d64c76ed2d9b"
DEVICE="ens33"
ONBOOT="yes"
[root@localhost ~]# systemctl stop NetworkManager.service   停止網路管理服務
[root@localhost ~]# systemctl disable NetworkManager.service 開機禁止自啟動
[root@localhost ~]# systemctl restart network.service  重啟網路服務

至此我們應該有五台虛擬機,都按照如下ip和主機名配置對應好,五台都設置好了hosts文件

192.168.10.3 nn1.hadoop 
192.168.10.4 nn2.hadoop
192.168.10.5 s1.hadoop
192.168.10.6 s2.hadoop
192.168.10.7 s3.hadoop

然後防火牆、selinux都已經關閉,都正確安裝jdk8並配置好環境變數,都正確新建了hadoop用戶組並將其添加進wheel組。

8.配置五台機器互相ssh免密登錄

上邊的操作都是在root用戶下進行的,現在切換到hadoop用戶下進行以後的幾乎所有操作。

[root@nn1 ~]# su - hadoop     註意這裡的“-”,意味著用戶和環境變數同時切換
[hadoop@nn1 ~]$    這時候代表進入到了hadoop用戶,還有#和$分別代表root用戶和普通用戶的身份區別

開始搭建ssh免密

思路是首先在每一臺機器上分別創建各自的key,最後把這些key.pub彙總到~/.ssh/authorized_keys文件中再一起分發給所有機器,這時候就實現了五台機器的互相免密ssh訪問。

[hadoop@nn1 ~]$ pwd 查看當前路徑,確保在hadoop用戶的home下
/home/hadoop 
[hadoop@nn1 ~]$ mkdir .ssh
[hadoop@nn1 ~]$ chmod 700 ./.ssh
[hadoop@nn1 ~]$ ll -a
drwx------  2 hadoop hadoop 132 7月  16 22:13 .ssh
[hadoop@nn1 ~]$ ssh-keygen -t rsa   創建key文件

這時候完成了nn1機器的設置(nn1作為我們以後的主要操作機器)。按照上邊的步驟把剩下的4台機器也弄好,然後分別把其他的4台機器的./ssh/id_rsa.pub重命名(防止重覆和以外替換),再發送到nn1的./ssh/下

[hadoop@nn2 ~]$ scp ~/.ssh/id_rsa.pub [email protected] ~/.ssh/id_rsa.pubnn2

這時候nn1的~/.ssh/下應該有包括自己在內的5個pub文件(不重名),然後把他們都_追加_到下邊的文件中

[hadoop@nn1 ~]$ touch authorized_keys
[hadoop@nn1 ~]$ chmod 600 authorized_keys
[hadoop@nn1 ~]$ cat ./ssh/id_rsa.pub >> authorized_keys
[hadoop@nn1 ~]$ cat ./ssh/id_rsa.pubnn2 >> authorized_keys
[hadoop@nn1 ~]$ cat ./ssh/id_rsa.pubs1 >> authorized_keys
…………

然後最後把這個文件批量發送到其餘4台機器上(忘了寫批量腳本了,所以用scp命令依次發送吧)

至此5台機器的ssh免密互相訪問配置結束,我們可以分別測試(略)。

9.批量腳本編寫

因為有5台機器啊,很多操作都要一起動,所以需要批量執行腳本。

#文件名:ips
"nn1.hadoop" "nn2.hadoop" "s1.hadoop" "s2.hadoop" "s3.hadoop"
#!/bin/bash
#文件名:ssh_all.sh
RUN_HOME=$(cd "$(dirname "$0")"; echo "${PWD}")

NOW_LIST=(`cat ${RUN_HOME}/ips`)

SSH_USER="hadoop"
for i in ${NOW_LIST[@]}; do
    f_cmd="ssh $SSH_USER@$i \"$*\""
    echo $f_cmd
    if eval $f_cmd; then
        echo "OK"
    else 
        echo "FAIL"
    fi
done
#!/bin/bash
#文件名:ssh_root.sh
RUN_HOME=$(cd "$(dirname "$0")"; echo "${PWD}")

NOW_LIST=(`cat ${RUN_HOME}/ips`)

SSH_USER="hadoop"
for i in ${NOW_LIST[@]}; do
    f_cmd="ssh $SSH_USER@i ~/exe.sh \"$*\""
    echo $f_cmd
    if eval $f_cmd; then
        echo "OK"
    else 
        echo "FAIL"
    fi
done
#文件名exe.sh
cmd=$*

su - <<EOF
$cmd

EOF
#!/bin/bash
RUN_HOME=$(cd "(dirname "$0")"; echo "${PWD}")

NOW_LIST=(`cat ${UN_HOME}/ips`)

SSH_USER="hadoop"
for i in ${NOW_LIST[@]}; do
    f_cmd="scp $1 $SSH_USER@i:$2"
    echo $f_cmd
    if eval $f_cmd; then
        echo "ok"
    else
        echo "FAIL"
    fi
done

前期準備工作結束,下一篇開始安裝配置zookeeper


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 1.kafka consumer流程1.1.在啟動時或者協調節點故障轉移時,消費者發送ConsumerMetadataRequest給bootstrap brokers列表中的任意一個brokers。在ConsumerMetadataResponse中,它接收消費者對應的消費組所屬的協調節點的位置信 ...
  • 今天巡檢時突然發現有很多鎖等待超時的情況,原以為是一個簡單的小事,一查,結果令人深思。 1. 問題現象 發現日誌中出現了大量的 ERROR 1205 (HY000): Lock wait timeout exceeded; try restarting transaction 錯誤 2. 排查過程 ...
  • select hou.name, vendor_name from po_vendor_sites_all pvs, ap_suppliers ass, hr_operating_units hou where pvs.auto_tax_calc_flag = 'N' and pvs.vendor_ ...
  • 下麵這個問題反正我是遇到了,也是難為我好幾天,於是我決定發一個教程出來給大家看看!希望能幫助你們 原因: 可能是資料庫的版本與本機裝的驅動不匹配導致的, 解決方案一: 在 url 後面街上一句 因為筆者親自測試 可以解決 解決方案二: 重新安裝驅動可以解決: ...
  • 近年來,隨著大數據技術的發展,企業紛紛意識到大數據的重要性,也被廣泛應用於各行各業。同時,大數據行業前景好、薪資高的優勢,也吸引了眾多對大數據感興趣的學習者,無論是剛畢業的大學生,還是準備轉型尋求新機會的職場人。 ...
  • 學資料庫的人都知道,MySQL資料庫是比較基本的掌握要求,不僅開源而且社區版本是免費使用的。由於工作上或者經常更換系統的原因,有時候會需要安裝MySQL資料庫。為了不至於每次安裝都要查閱資料,現把安裝過程以及出現的問題總結出來: 1.官網下載最新版本MySQL,這裡下載的是解壓版的。MySQL官網鏈 ...
  • 今天遇到了,隨手記錄一下。 sql server 存儲數據裡面 NVARCHAR 記錄中文的時候是 一個中文對應一個字元串長度,記錄英文也是一個字母一個長度 標點符號也是一樣。 VARCHAR 記錄中文的時候一個中文對應兩個字元串長度,記錄英文是一個字母長度,標點符號空格的沒測。 優缺點暫時不列,記 ...
  • Redis部分 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...