hadoop3自學入門筆記(1)——虛擬機安裝和網路配置

来源:https://www.cnblogs.com/qingmiaokeji/archive/2020/02/16/12319641.html

前言 年過30惶惶不安,又逢疫情,還是不斷學習,強化自己的能力。hadoop的視頻和書籍在15年的時候就看過,但是一直沒動手實踐過,要知道技術不經過實戰,一點提升也沒有。因此下定決心邊學邊做,希望能有所收穫。 軟體版本介紹 virtualbox 6.1 centos7 hadoop 3.2.1 jd ...


前言

年過30惶惶不安,又逢疫情,還是不斷學習,強化自己的能力。hadoop的視頻和書籍在15年的時候就看過,但是一直沒動手實踐過,要知道技術不經過實戰,一點提升也沒有。因此下定決心邊學邊做,希望能有所收穫。

軟體版本介紹

  • virtualbox 6.1
  • centos7 
  • hadoop-3.2.1
  • jdk-8u241-linux-x64
  • xshell
  • xftp

    虛擬機配置規劃

name ip role
61 192.168.3.61 namenode,datanode
62 192.168.3.62 datanode
63 192.168.3.63 secondnamenode
64 192.168.3.64 datanode

虛擬機的創建

安裝virtualbox
新建虛擬機如下圖所示:
image.png
選擇red hat 64位。點擊下一步,記憶體根據情況設置
image.png
下一步
image.png
現在創建虛擬機硬碟,點擊創建。
image.png
勾選第一個,下一步。
image.png
動態分配,下一步。
image.png
點擊創建。
image.png
雙擊啟動。
image.png
註冊系統鏡像iso.啟動安裝

記得設置連接方式,橋接網卡,可以讓虛擬機和本機在同一個網路下。
image.png

複製虛擬機,避免多次安裝

image.png
右擊複製

虛擬機配置ip

  1. 修改192.168.3.61的網路配置,192.168.3.62,192.168.3.63,192.168.3.64的雷同。
# vi /etc/sysconfig/network-scripts/ifcfg-ens3
TYPE=Ethernet
BOOTPROTO=static //dhcp改成static
DEFROUTE=yes
PEERDNS=yes
PEERROUTES=yes
IPV4_FAILURE_FATAL=yes //no改成yes
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_PEERDNS=yes
IPV6_PEERROUTES=yes
IPV6_FAILURE_FATAL=no
IPV6_ADDR_GEN_MODE=stable-privacy
NAME=ens3
UUID=851ae637-14d4-4435-9c38-d3a3e4c2f0c3
DEVICE=ens3
IPADDR=192.168.3.61 //新加上的
NETMASK=255.255.255.0 //新加上的
GATEWAY=192.168.3.1 //新加上的
ONBOOT=yes //no改成yes
  1. 重啟網路
# service network restart

當所有結果都顯示為OK時,才能成功。

  1. curl測試網路是否通了

image.png
返回網頁表示統領。

使用 xshell

在虛擬機中輸入命令很受,讓我們用專門的客戶端吧,讓你寫命令6的起飛。
image.png
點擊連接,輸入用戶名和密碼,記得勾選記住用戶名和密碼。下次就避免輸入了。

SSH免密碼登錄

ssh-keygen 用來生成ssh登錄的key,可以使我們以後登錄遠程主機時無需再輸入遠程主機的key具體使用方法如下:
當我們需要用主機61登錄遠程主機62時,我們在主機61上輸入:

  1. 生成Key
# ssh-keygen -t rsa 

會產生如下的信息:

  1. key的名稱輸入id_rsa,密碼直接回車表示空
Generating public/private rsa key pair.

Enter file in which to save the key (/root/.ssh/id_rsa):      ->輸入key文件的名稱

Enter passphrase (empty for no passphrase):                 ->輸入使用key時的密碼,註意這裡不是遠處伺服器的密碼,

                                               只是你使用sshkey時需要輸入的密碼,
                                     建議不輸入(如果要輸入這個密碼還不如直接輸入遠處主機的密碼:))

Enter same passphrase again: 

Your identification has been saved in /root/.ssh/id_rsa.

Your public key has been saved in /root/.ssh/id_rsa.pub.

The key fingerprint is:

11:ae:00:bd:92:bc:70:f8:4b:cb:47:06:7f:e2:73:21 [email protected]
  1. 把公匙複製到62
scp id_rsa.pub 192.168.3.62:/root/.ssh/
  1. 遠程到62
ssh 192.168.3.62    ->登錄遠程主機

[email protected]'s password: ->輸入密碼
  1. 生成authorized_keys
# cd /root/.ssh    ->進入到key目錄

# cat id_rsa.pub >> authorized_keys
  1. 修改.ssh和authorized_keys許可權。退出62,重啟ssh服務

600 設置擁有者可讀寫,其他人不可讀寫執行,
700 ** 只有擁有者有讀、寫、執行許可權。**

#chmod 700 .ssh
#chmod 600  authorized_keys     
#exit    -> 推出遠程62伺服器
#service sshd restart  ->重新啟動ssh服務
#ssh 192.168.3.62  ->遠程登錄到62測試下吧:)

關閉防火牆

了使兩台機器之間進行通信,還需要將每個節點的防火牆都關閉。關閉防火牆有兩種方法,一種是永久生效;另一種是立即生效,重啟後無效。這兩條命令我們可以都運行一遍,這樣就代表防火牆立即關閉,並且機器重啟後仍然處於關閉狀態。
停止firewall

systemctl stop firewalld.service

禁止firewall開機啟動

systemctl disable firewalld.service

您的分享是我們最大的動力!

更多相關文章
  • Magicodes.IE在Docker中使用 更新曆史 2019.02.13 【Nuget】版本更新到2.0.2 【導入】修複單列導入的Bug,單元測試“OneColumnImporter_Test”。問題見(https://github.com/dotnetcore/Magicodes.IE/is ...
  • 1.前言 為什麼需要內部yum源呢,有可能是業務內部的伺服器對外是不通了,居於一些安全方面的考慮。內部yum源又有什麼好處呢,第一,速度快;第二,內網可控,外網有問題也不影響內網包的下載和安裝等。 2.部署 2.1 創建yum倉庫目錄 2.2 鏡像同步公網yum源 上游yum源必須要支持rsync協 ...
  • 1 #!/bin/bash 2 # @Author: HanWei 3 # @Date: 2020-02-14 18:51:37 4 # @Last Modified by: HanWei 5 # @Last Modified time: 2020-02-14 18:51:37 6 # @E-mai ...
  • 一、環境 VMWare+Centos7 二、寫在前面的話 安裝GCC最簡單的方式當然是【yum -y install gcc】但是我的機器上安裝下來後,其版本是4.8.5,感覺有點低,所以想升級一下(7.2.0, 8.2.0之類的版本)。於是需要手動安裝。 三、吃過的坑 1. 本地沒有GCC導致編譯 ...
  • rpm可以實現程式的快速,簡單安裝(跟編譯安裝比),但是rpm自己不能解決依賴,所以很多工具為了自動解決依賴應運而生,其中yum就是其中之一。 yum解決依賴的辦法: 必須有個文件伺服器,裡面放置所以的rpm包,以及包的相關元數據( qi, qR得到的數據)。元數據可以使用 來創建。並放置在repo ...
  • 1 DHCP伺服器簡介 DHCP(Dynamic Host Configuration Protocol),動態主機配置協議,DHCP 協議主要是用來自動為區域網中的客戶機分配TCP/IP 信息的網路協議,並完成每台客戶機的TCP/IP 協議配置。當我們將區域網中客戶機IP地址設置為動態獲取方式時, ...
  • 實驗環境:centos7 註:因為本次實驗在同一臺伺服器上,Apache與Nginx同為80埠,所以改Apache埠為60 1 配置Nginx伺服器: 編輯Nginx配置文件,寫入以下內容 location ~ \.php$ { 所有以.php結尾的文件,前面\代表轉義 proxy_pass h ...
  • 很多人都有寫博客的習慣,奈何國內的博客網站正在一家家地關閉與重整,部分博客網站也充斥著太多的廣告,使用體驗非常不好。對於愛寫博客的朋友來說,其實還有一個更好的選擇,那就是自己搭建一個博客。 ...
一周排行
  • 前幾天發佈了 "抄抄《CSS 故障藝術》的動畫" 這篇文章,在這篇文章里介紹瞭如何使用Win2D繪製文字然後配合BlendEffect製作故障藝術的動畫。本來打算就這樣收手不玩這個動畫了,但後來又發現性能不符合理想。明明只是做做Resize動畫和用BlendEffect混合,為什麼性能會這麼差呢? ...
  • 控制條控制項: progressBar 不能按照你程式的進程自動變化,需認為計算,調整變化量 private void progressBar1_Click(object sender, EventArgs e) { this.progressBar1.Maximum = 100;//設置進度條最大長 ...
  • 首先創建一個asp.net core web應用程式 第二步 目前官方預置了7種模板項目供我們選擇。從中我們可以看出,既有我們熟悉的MVC、WebAPI,又新添加了Razor Page,以及結合比較流行的Angular、React前端框架的模板項目。 空項目模板 Program.cs using S ...
  • 對閉包的理解 1.對於成員變數和局部變數:成員變數就是方法外部,類的內部定義的變數;局部變數就是方法或語句塊內部定義的變數。局部變數必須初始化。 形式參數是局部變數,局部變數的數據存在於棧記憶體中。棧記憶體中的局部變數隨著方法的消失而消失。成員變數存儲在堆中的對象裡面,由垃圾回收器負責回收。 成員變數它 ...
  • Xamarin.Forms讀取並展示Android和iOS通訊錄 TerminalMACS客戶端 本文同步更新地址: https://dotnet9.com/11520.html https://terminalmacs.com/861.html 閱讀導航: 一、功能說明 二、代碼實現 三、源碼獲取 ...
  • 做下對文件複製操作相關的筆記: /// <summary> /// 文件幫助類 /// </summary> public class FileHelper { /// <summary> /// 複製一個目錄下所有文件到一個新目錄下 /// </summary> /// <param name=" ...
  • 前言 有一個東西叫做鴨子類型,所謂鴨子類型就是,只要一個東西表現得像鴨子那麼就能推出這玩意就是鴨子。 C 裡面其實也暗藏了很多類似鴨子類型的東西,但是很多開發者並不知道,因此也就沒法好好利用這些東西,那麼今天我細數一下這些藏在編譯器中的細節。 不是只有 和 才能 在 C 中編寫非同步代碼的時候,我們經 ...
  • [toc] 1.應用背景 底端設備有大量網路報文(位元組數組):心跳報文,數據採集報文,告警報文上報。需要有對應的報文結構去解析這些位元組流數據。 2.結構體解析 由此,我第一點就想到了用結構體去解析。原因有以下兩點: 2.1.結構體存在棧中 類屬於引用類型,存在堆中;結構體屬於值類型,存在棧中,在一個 ...
  • 《深入淺出 C#》 (第3版) [作者] (美) Andrew Stellman (美) Jennifer Greene[譯者] (中) 徐陽 丁小峰 等譯[出版] 中國電力出版社[版次] 2016年08月 第1版[印次] 2018年04月 第4次 印刷[定價] 148.00元 【引子】 要學習編程 ...
  • 記錄使用對象初始值設定項初始化對象。 using System; using System.Collections.Generic; namespace ConsoleApp2 { class Program { static void Main(string[] args) { // 使用構造函數 ...
x