1. 大數據集群環境準備

来源:https://www.cnblogs.com/elevenapple/archive/2019/07/10/11163461.html
-Advertisement-
Play Games

1、三台虛擬機關閉防火牆 三台機器執行以下命令(root用戶來執行) service iptables stop chkconfig iptables off 2、三台機器關閉selinux vim /etc/selinux/config 3、三台機器更改主機名 vim /etc/sysconfig ...


 

1、三台虛擬機關閉防火牆

三台機器執行以下命令(root用戶來執行)

service iptables stop

chkconfig iptables off

 

2、三台機器關閉selinux

vim /etc/selinux/config

3、三台機器更改主機名

vim /etc/sysconfig/network

 

 

4、三台機器做主機名與IP地址的映射

vim /etc/hosts

192.168.221.100 node01.hadoop.com  node01

192.168.221.110 node02.hadoop.com  node02

192.168.221.120 node03.hadoop.com  node03

 

5、三台機器重啟

reboot  -h  now

6、三台機器機器免密碼登錄

第一步:三台機器生成公鑰與私鑰

在三台機器執行以下命令,生成公鑰與私鑰

ssh-keygen -t rsa

執行該命令之後,按下三個回車即可

 

第二步:拷貝公鑰到同一臺機器

三台機器將拷貝公鑰到第一臺機器

三台機器執行命令:

ssh-copy-id node01.hadoop.com

第三步:複製第一臺機器的認證到其他機器

將第一臺機器的公鑰拷貝到其他機器上

在第一天機器上面指向以下命令

scp /root/.ssh/authorized_keys node02.hadoop.com:/root/.ssh

scp /root/.ssh/authorized_keys node03.hadoop.com:/root/.ssh

7、三台機器時鐘同步

第一種同步方式:通過網路進行時鐘同步

通過網路連接外網進行時鐘同步,必須保證虛擬機連上外網

ntpdate us.pool.ntp.org;

阿裡雲時鐘同步伺服器

ntpdate ntp4.aliyun.com

三台機器定時任務

crontab  -e  

*/1 * * * * /usr/sbin/ntpdate us.pool.ntp.org;

或者直接與阿裡雲伺服器進行時鐘同步

crontab -e

*/1 * * * * /usr/sbin/ntpdate ntp4.aliyun.com;

 

第二種時鐘同步方式:通過某一臺機器進行同步

以192.168.221.100這台伺服器的時間為準進行時鐘同步

第一步:確定是否安裝了ntpd的服務

rpm -qa  | grep  ntpd

如果沒有安裝,可以進行線上安裝

yum -y install ntpd

啟動ntpd的服務

service  ntpd  start

設置ntpd的服務開機啟動

chkconfig ntpd on

第二步:編輯/etc/ntp.conf

編輯第一臺機器的/etc/ntp.conf

vim /etc/ntp.conf

在文件中添加如下內容

restrict  192.168.221.0  mask  255.255.255.0  nomodify  notrap

註釋一下四行內容

#server  0.centos.pool.ntp.org

#server  1.centos.pool.ntp.org

#server  2.centos.pool.ntp.org

#server  3.centos.pool.ntp.org

去掉以下內容的註釋,如果沒有這兩行註釋,那就自己添加上

server   127.127.1.0  #  local  clock

fudge    127.127.1.0  stratum  10

配置以下內容,保證BIOS與系統時間同步

vim  /etc/sysconfig/ntpd      

添加一行內容 

SYNC_HWLOCK=yes       

第三步:另外兩台機器與第一臺機器時間同步

另外兩台機器與192.168.221.100進行時鐘同步

crontab  -e

*/1 * * * * /usr/sbin/ntpdate 192.168.221.100

 

7、三台機器時鐘同步

#查看自帶的

openjdk [root@node01 ~]# rpm -qa | grep java

#如果有就卸載

[root@node01 ~]# rpm -e jdk的名稱

#創建兩個約定俗稱的文件夾,來進行我們的軟體包的存放和軟體的安裝

所有軟體的安裝路徑

mkdir -p /usr/local/java

所有軟體壓縮包的存放路徑

mkdir -p /usr/local/software

#上傳jdk到software目錄,並解壓

root@node02 ~# tar -zxvf jdk-8u181-linux-x64.tar.gz -C /usr/local/java

#配置java環境變數,在文檔末尾追加

vim /etc/profile

#配置java環境變數

export JAVA_HOME=/usr/local/java/jdk1.8.0_181

export PATH=:$JAVA_HOME/bin:$PATH

 

#編譯

source /etc/profile

#測試

[root@node01 software]# java -version

java version "1.8.0_181" Java(TM) SE Runtime Environment (build 1.8.0_181-b13) Java HotSpot(TM) 64-Bit Server VM (build 25.181-b13, mixed mode) 表示安裝成功


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • yum( Yellow dog Updater, Modified)是一個在Fedora和RedHat以及SUSE中的Shell前端軟體包管理器。 基於RPM包管理,能夠從指定的伺服器自動下載RPM包並且安裝,可以自動處理依賴性關係,並且一次安裝所有依賴的軟體包,無須繁瑣地一次次下載、安裝。 yum ...
  • Linux目錄和文件——操作目錄和文件 摘要:本文主要學習了Linux系統中關於目錄和文件的操作。 cd命令 cd命令用來切換工作目錄,是Change Directory的縮寫。 基本語法 特殊符號 使用舉例 pwd命令 pwd命令的功能是顯示用戶當前所處的工作目錄,是Print Working D ...
  • CentOS7 SSH 密碼正確,但仍提示“Permission denied” ...
  • 本篇內容比較簡單,但卻很繁瑣,篇幅也很長,畢竟是囊括了整個操作系統的生命周期。這篇文章的目的是作為後續設計多任務開發的鋪墊,後續會單獨再抽出一篇分析任務的相關知識。另外本篇文章以單核MCU為背景,並且以最新的3.1.xLTS版本源碼進行分析。主要內容目錄如下: 基於bsp/stm32/stm32f1 ...
  • 前言 開心一刻 兒子有道題不會做,喊我過去教他。我推了推一旁的老公:我頭疼,你去吧。老公不動,我:零花錢漲一千。話音剛落,老公就屁顛屁顛跑去兒子房間。進去不到幾分鐘,一聲怒吼伴隨著兒子的哭聲傳來的瞬間,老公從兒子房間出來,邊走邊說:“朽木不可雕也。”兒子從房間探出半個身子,一臉委屈:“爸爸也不會做, ...
  • 一、條件查詢 1、查詢的基本語法 from關鍵字後面寫表名,表示數據來源於是這張表 select後面寫表中的列名,如果是*表示在結果中顯示表中所有列 在select後面的列名部分,可以使用as為列起別名,這個別名出現在結果集中 如果要查詢多個列,之間使用逗號分隔 2、消除重覆行 在select後面列 ...
  • Retail Reference Architecture Part 1: Building a Flexible, Searchable, Low-Latency Product Catalog Product catalog data management is a complex proble ...
  • 將用戶連接資料庫(5.7.14-7)的IP地址從 10.10.5.16 修改為 10.11.4.197 使用該命令修改用戶名欄位也是可以。 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...