hadoop前期環境搭建

来源:https://www.cnblogs.com/runweitian/archive/2023/05/08/17381858.html
-Advertisement-
Play Games

主機名 ip ssh免密登陸 #修改主機名 hostnamectl set-hostname node1 #修改ip地址 vim /etc/sysconfig/network-scripts/ifcfg-ens33 #node1 IPADDR="192.168.88.101" NETMASK="22 ...


主機名 ip ssh免密登陸

#修改主機名
hostnamectl set-hostname node1

#修改ip地址
 vim /etc/sysconfig/network-scripts/ifcfg-ens33 
#node1
IPADDR="192.168.88.101"
NETMASK="225.225.225.0"
GATEWAY="192.168.88.2"
DNS1="192.168.88.2"
#重啟網卡
systemctl stop network
systemctl start network

#或者直接
systemctl restart network




配置主機名映射

#linux中修改hosts
# vim /etc/hosts
192.168.88.101 node1
192.168.88.102 node2
192.168.88.103 node3

配置ssh免密登陸

 #生成ssh密鑰 一直enter
 ssh-keygen -t rsa -b 4096
 
 #進入生成的ssh密鑰文件夾
 cd .ssh/
 #設置自己免密登陸
 ssh-copy-id node1
 #ssh免密登陸node1
 ssh node1
 
 #


後面的大數據軟體不會用root用戶啟動(安全)

#現在為每台機器 創建一個單獨的hadoop用戶,併為三台伺服器同樣配置hadoop用戶的免密互通
#創建hadoop用戶
useradd hadoop
#設置用戶密碼 123456
passwd hadoop
#在每台機器切換帶hadoop用戶
su - hadoop
#執行 創建ssh密鑰
ssh-keygen-t rsa -b 4096
#在每台機器都執行 免密 (切換用戶喔)
ssh-copy-id node1
ssh-copy-id node2
ssh-copy-id node3


Jdk環境部署

#1.創建文件夾()用來部署jdk
mkdir -p /export/server
#使用rz命令上傳 
#2,解壓jdk 安裝文件
tar -zxvf jdk-8u361-linux-x64.tar.gz -C /export/server/
#cd進入/export/server/ 查看當前目錄 ll命令
#3.配置jdk軟鏈接
ln -s /export/server/jdk1.8.0_361/ jdk#名為jdk
#查看
ls -l;
#4.配置JAVA_HOME環境變數
vim /etc/profile#編輯這個文件
#在end加入下main下麵
export JAVA_HOME=/export/server/jdk
export PATH=$PATH:$JAVA_HOME/bin
#5.讓環境變數生效
source /etc/profile
#6.配置Java執行程式的軟鏈接
rm -f /usr/bin/java#刪除系統自帶的java程式
ln -s /export/server/jdk/bin/java /usr/bin/java#軟連接我們自己安裝的Java程式
#7.執行驗證
Java -version

node2通過node1遠程複製文件夾

scp -r jdk1.8.0_361 node2:`pwd`/

防火牆,SELinux,時間同步等系統配置

#關閉防火牆(每台都執行)
systemctl stop firewalld
systemctl disable firewalld
#SElinux安全模塊
vim /etc/sysconfig/selinux 
SELINUX=disabled#保存退出,重啟虛擬機,不要把disabled單詞寫錯,不然無法啟動系統
init 0 或者init 6 #重啟系統

#查看防火牆的狀態
systemctl status firewalld

修改時區並配置自動同步

#1.安裝ntp軟體
yum install -y ntp
date#查看時間
#2.刪除系統自帶的 軟連接上海的
rm -f /etc/localtime 
ln -s /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
#3. 通過阿裡雲矯正
ntpdate -u ntp.aliyun.com
#4.設置開機自動校正
systemctl start ntpd
systemctl enable ntpd#設置開機自啟
systemctl status ntpd#查看狀態

拍攝快照保存狀態


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 重要聲明-針對攻擊者 網站pljzy.top被某人攻擊 ZY知識庫 首先 說我網站抄襲,文章抄襲,ok,你列舉一下我有那幾篇文章是抄的別人的?自己眼睛不看的是吧,但凡我參考的別人的文章我都會放原文地址。 先放幾張圖片,真搞不懂我抄誰了,下麵全是我自己電腦的md文件,我抄誰的了?全是我自己做的筆記。 ...
  • 你是否見過`bash ... 2>&1 1>file.txt`的寫法? 還沒發現這樣的寫法有什麼問題? 那麼恭喜你, 看完本文你又將學會一個新知識! ...
  • 1. 前言 還記得大學第一次接觸Ubuntu和Linux的時候,覺得用apt安裝想要的軟體非常方便。但是有時候出現了問題,各種報錯,自己又不懂原理,就會非常抓狂。現在稍微理解一點了,故以較為容易理解的方式記錄在這裡,方便他人。 2. 軟體包與包管理器dpkg Linux里的軟體就是一些可執行文件。就 ...
  • 背景 工作中遇到客戶反饋,上層應用UDP固定間隔100ms發包,但本地tcpdump抓包存在波動,有的數據包之間間隔107ms甚至更多,以此重新梳理了下udp的發送流程。 udp發包流程 udp_sendmsg UDP corking 是一項優化技術,允許內核將多次數據累積成單個數據報發送。在用戶程 ...
  • 如果你在 Docker 環境中使用 WebSocket 並通過 Nginx 進行代理,可能需要進行一些額外的配置才能使 WebSocket 正常工作。 下麵是一些可能會導致 WebSocket 代理失敗的問題以及相應的解決方法: 檢查 Nginx 配置 在 Nginx 配置中,確保已經正確地設置了 ...
  • TTL是 Time To Live的縮寫,該欄位指定IP包被路由器丟棄之前允許通過的最大網段數量。TTL是IPv4報頭的一個8 bit欄位。 IPv4包頭中TTL是一個8 bit欄位,它位於IPv4包的第9個位元組。如下圖所示,每一行表示 32 bit(4位元組),位從0開始編號,即0~31。 TTL的 ...
  • (工作中,Oracle常用函數) 1、序言 Oracle提供了不少內置函數,熟練使用這些函數,可以大大提高我們工作效率。函數可以接受0個或多個入參,並返回一個輸出結果。 2、Oracle函數分類 Oracle函數分為單行函數和聚合函數 單行函數:對每一個函數應用在表的記錄中時,只能輸入一行結果,返回 ...
  • Hadoop官方網站 http://hadoop.apache.org/ Hadoop運行模式 本地模式:單機運行,只是用來演示一下官方案例。生產環境不用。 偽分散式模式:也是單機運行,但是具備Hadoop集群的所有功能,一臺伺服器模擬一個分散式的環境。個別缺錢的公司用來測試,生產環境不用。 完全分 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...