hadoop3自學入門筆記(1)——虛擬機安裝和網路配置

来源:https://www.cnblogs.com/qingmiaokeji/archive/2020/02/16/12319641.html

前言 年過30惶惶不安,又逢疫情,還是不斷學習,強化自己的能力。hadoop的視頻和書籍在15年的時候就看過,但是一直沒動手實踐過,要知道技術不經過實戰,一點提升也沒有。因此下定決心邊學邊做,希望能有所收穫。 軟體版本介紹 virtualbox 6.1 centos7 hadoop 3.2.1 jd ...


前言

年過30惶惶不安,又逢疫情,還是不斷學習,強化自己的能力。hadoop的視頻和書籍在15年的時候就看過,但是一直沒動手實踐過,要知道技術不經過實戰,一點提升也沒有。因此下定決心邊學邊做,希望能有所收穫。

軟體版本介紹

  • virtualbox 6.1
  • centos7 
  • hadoop-3.2.1
  • jdk-8u241-linux-x64
  • xshell
  • xftp

    虛擬機配置規劃

name ip role
61 192.168.3.61 namenode,datanode
62 192.168.3.62 datanode
63 192.168.3.63 secondnamenode
64 192.168.3.64 datanode

虛擬機的創建

安裝virtualbox
新建虛擬機如下圖所示:
image.png
選擇red hat 64位。點擊下一步,記憶體根據情況設置
image.png
下一步
image.png
現在創建虛擬機硬碟,點擊創建。
image.png
勾選第一個,下一步。
image.png
動態分配,下一步。
image.png
點擊創建。
image.png
雙擊啟動。
image.png
註冊系統鏡像iso.啟動安裝

記得設置連接方式,橋接網卡,可以讓虛擬機和本機在同一個網路下。
image.png

複製虛擬機,避免多次安裝

image.png
右擊複製

虛擬機配置ip

  1. 修改192.168.3.61的網路配置,192.168.3.62,192.168.3.63,192.168.3.64的雷同。
# vi /etc/sysconfig/network-scripts/ifcfg-ens3
TYPE=Ethernet
BOOTPROTO=static //dhcp改成static
DEFROUTE=yes
PEERDNS=yes
PEERROUTES=yes
IPV4_FAILURE_FATAL=yes //no改成yes
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_PEERDNS=yes
IPV6_PEERROUTES=yes
IPV6_FAILURE_FATAL=no
IPV6_ADDR_GEN_MODE=stable-privacy
NAME=ens3
UUID=851ae637-14d4-4435-9c38-d3a3e4c2f0c3
DEVICE=ens3
IPADDR=192.168.3.61 //新加上的
NETMASK=255.255.255.0 //新加上的
GATEWAY=192.168.3.1 //新加上的
ONBOOT=yes //no改成yes
  1. 重啟網路
# service network restart

當所有結果都顯示為OK時,才能成功。

  1. curl測試網路是否通了

image.png
返回網頁表示統領。

使用 xshell

在虛擬機中輸入命令很受,讓我們用專門的客戶端吧,讓你寫命令6的起飛。
image.png
點擊連接,輸入用戶名和密碼,記得勾選記住用戶名和密碼。下次就避免輸入了。

SSH免密碼登錄

ssh-keygen 用來生成ssh登錄的key,可以使我們以後登錄遠程主機時無需再輸入遠程主機的key具體使用方法如下:
當我們需要用主機61登錄遠程主機62時,我們在主機61上輸入:

  1. 生成Key
# ssh-keygen -t rsa 

會產生如下的信息:

  1. key的名稱輸入id_rsa,密碼直接回車表示空
Generating public/private rsa key pair.

Enter file in which to save the key (/root/.ssh/id_rsa):      ->輸入key文件的名稱

Enter passphrase (empty for no passphrase):                 ->輸入使用key時的密碼,註意這裡不是遠處伺服器的密碼,

                                               只是你使用sshkey時需要輸入的密碼,
                                     建議不輸入(如果要輸入這個密碼還不如直接輸入遠處主機的密碼:))

Enter same passphrase again: 

Your identification has been saved in /root/.ssh/id_rsa.

Your public key has been saved in /root/.ssh/id_rsa.pub.

The key fingerprint is:

11:ae:00:bd:92:bc:70:f8:4b:cb:47:06:7f:e2:73:21 [email protected]
  1. 把公匙複製到62
scp id_rsa.pub 192.168.3.62:/root/.ssh/
  1. 遠程到62
ssh 192.168.3.62    ->登錄遠程主機

[email protected]'s password: ->輸入密碼
  1. 生成authorized_keys
# cd /root/.ssh    ->進入到key目錄

# cat id_rsa.pub >> authorized_keys
  1. 修改.ssh和authorized_keys許可權。退出62,重啟ssh服務

600 設置擁有者可讀寫,其他人不可讀寫執行,
700 ** 只有擁有者有讀、寫、執行許可權。**

#chmod 700 .ssh
#chmod 600  authorized_keys     
#exit    -> 推出遠程62伺服器
#service sshd restart  ->重新啟動ssh服務
#ssh 192.168.3.62  ->遠程登錄到62測試下吧:)

關閉防火牆

了使兩台機器之間進行通信,還需要將每個節點的防火牆都關閉。關閉防火牆有兩種方法,一種是永久生效;另一種是立即生效,重啟後無效。這兩條命令我們可以都運行一遍,這樣就代表防火牆立即關閉,並且機器重啟後仍然處於關閉狀態。
停止firewall

systemctl stop firewalld.service

禁止firewall開機啟動

systemctl disable firewalld.service

您的分享是我們最大的動力!

更多相關文章
  • Magicodes.IE在Docker中使用 更新曆史 2019.02.13 【Nuget】版本更新到2.0.2 【導入】修複單列導入的Bug,單元測試“OneColumnImporter_Test”。問題見(https://github.com/dotnetcore/Magicodes.IE/is ...
  • 1.前言 為什麼需要內部yum源呢,有可能是業務內部的伺服器對外是不通了,居於一些安全方面的考慮。內部yum源又有什麼好處呢,第一,速度快;第二,內網可控,外網有問題也不影響內網包的下載和安裝等。 2.部署 2.1 創建yum倉庫目錄 2.2 鏡像同步公網yum源 上游yum源必須要支持rsync協 ...
  • 1 #!/bin/bash 2 # @Author: HanWei 3 # @Date: 2020-02-14 18:51:37 4 # @Last Modified by: HanWei 5 # @Last Modified time: 2020-02-14 18:51:37 6 # @E-mai ...
  • 一、環境 VMWare+Centos7 二、寫在前面的話 安裝GCC最簡單的方式當然是【yum -y install gcc】但是我的機器上安裝下來後,其版本是4.8.5,感覺有點低,所以想升級一下(7.2.0, 8.2.0之類的版本)。於是需要手動安裝。 三、吃過的坑 1. 本地沒有GCC導致編譯 ...
  • rpm可以實現程式的快速,簡單安裝(跟編譯安裝比),但是rpm自己不能解決依賴,所以很多工具為了自動解決依賴應運而生,其中yum就是其中之一。 yum解決依賴的辦法: 必須有個文件伺服器,裡面放置所以的rpm包,以及包的相關元數據( qi, qR得到的數據)。元數據可以使用 來創建。並放置在repo ...
  • 1 DHCP伺服器簡介 DHCP(Dynamic Host Configuration Protocol),動態主機配置協議,DHCP 協議主要是用來自動為區域網中的客戶機分配TCP/IP 信息的網路協議,並完成每台客戶機的TCP/IP 協議配置。當我們將區域網中客戶機IP地址設置為動態獲取方式時, ...
  • 實驗環境:centos7 註:因為本次實驗在同一臺伺服器上,Apache與Nginx同為80埠,所以改Apache埠為60 1 配置Nginx伺服器: 編輯Nginx配置文件,寫入以下內容 location ~ \.php$ { 所有以.php結尾的文件,前面\代表轉義 proxy_pass h ...
  • 很多人都有寫博客的習慣,奈何國內的博客網站正在一家家地關閉與重整,部分博客網站也充斥著太多的廣告,使用體驗非常不好。對於愛寫博客的朋友來說,其實還有一個更好的選擇,那就是自己搭建一個博客。 ...
一周排行
  • 1. 雲停車 (開篇)2. 雲停車 (硬體篇)3. 雲停車 (業務篇)4. 雲停車 (平臺篇)5. 雲停車 (源碼篇) 網址:http://42.194.142.223:8091/Home 賬戶:admin 密碼:[email protected] 在場記錄 出入記錄 月租車繳費記錄 臨時車繳費記錄 車場 ...
  • 1.RabbitMQ簡介 因為RabbitMQ是基於開源的AMQP協議來實現的,所以在瞭解MQ時候,首先我們來瞭解下AMQP協議。AMQP,即Advanced Message Queuing Protocol,一個提供統一消息服務的應用層標準高級消息隊列協議,是應用層協議的一個開放標準,為面向消息的 ...
  • 1.AMQP Messaging中的基本概念 Broker:接收和分發消息的應用,RabbitMQ Server就是Message Broker。Virtual Host:出於多租戶和安全因素設計的,把AMQP的基本組件劃分到一個虛擬的分組中,類似於網路中的Namespace概念。當多個不同的用戶使 ...
  • 在顯示或者隱藏視窗的時候,可以利用Windows API中的AnimateWindow函數實現一些特殊的效果。主要的動畫類型有四種:滾動、幻燈片、摺疊或展開和alpha混合漸變。 ##視窗動畫效果 首先定義動畫工具類,引入AnimateWindow函數。 public class WindowsEf ...
  • 泥水佬大佬的地址已經不能下載,所以分享下。 用法很簡單,輸入地址即可。 鏈接:https://pan.baidu.com/s/1OUeybjqY9uGWmxe_ywgwgQ 提取碼:nls9 ...
  • //前提需要 //需要一個 serialPort 工具 可在vs自帶的工具欄中獲得 //源代碼加串口工具地址: //鏈接:https://pan.baidu.com/s/1YbfvdXEmfsJX87D-Jxljyg 提取碼:d32x //記錄用戶打開的串口號 可改為泛型模式 string seri ...
  • 從業務視角還原問題、業務視角抽象問題、二次抽象發現技術問題,作為思考問題的三個還原點。 提煉單點問題解決能力、思考單點問題解決能力,複製、層層遞進思考問題,從深度和廣度出發, 深度以數據作指標,廣度以領域做方向。 腳踏實地的代碼量成長沒有捷徑。 ...
  • Java電子書分類 Java、Spring、SpringBoot、SpringCloud、mybatis、Tomcat、多線程、Git相關、Redis、設計模式、Nginx、Linux、演算法、資料庫、大數據、架構 電子書大概有30G左右 部分電子書截圖 領取方式 加我的微信(s2001sssss)免 ...
  • 一.node啟動js公鑰加密 //需要導入模塊npm install node-forge var arguments = process.argv.splice(2); // console.log('所傳遞的參數是:', arguments); var e = arguments[1]; var ...
  • LeetCode–最長公共首碼 博客說明 文章所涉及的資料來自互聯網整理和個人總結,意在於個人學習和經驗彙總,如有什麼地方侵權,請聯繫本人刪除,謝謝! 說明 leetcode題,14題 最長公共首碼 題目 編寫一個函數來查找字元串數組中的最長公共首碼。 如果不存在公共首碼,返回空字元串 ""。 示例 ...