Hadoop集群搭建安裝過程(一)(圖文詳解---盡情點擊!!!)

来源:http://www.cnblogs.com/IceandsnowLove/archive/2016/10/25/5997998.html
-Advertisement-
Play Games

Hadoop集群搭建(一)(上篇中講到了Linux虛擬機的安裝) 一、安裝所需插件(以hadoop2.6.4為例,如果需要可以到官方網站進行下載:http://hadoop.apache.org) hadoop2.6.4插件、已經裝好的虛擬機(CentOS,這個百度一下自行安裝)、虛擬機安裝後將其克 ...


Hadoop集群搭建(一)(上篇中講到了Linux虛擬機的安裝)

一、安裝所需插件(以hadoop2.6.4為例,如果需要可以到官方網站進行下載:http://hadoop.apache.org

  hadoop2.6.4插件、已經裝好的虛擬機(CentOS,這個百度一下自行安裝)、虛擬機安裝後將其克隆成三個即可。

二、安裝過程

1、配置伺服器

1個主節點:sunshine(192.168.83.133),2個(從)子節點:sunshineMin(192.168.83.134),    

sunshineMax(192.168.83.135)。

在linux命令下進入到/etc/sysconfig/network-scripts/ifcfg-eth0路徑下配置本機靜態IP,和ifconfig命令下的IP等配置一樣。(三台虛擬機的靜態IP配置一樣,設置靜態IP是為了防止突然斷網等情況的出現導致IP出現變動,從而對集群有影響)

 

 

 

2、配置主節點名(192.168.83.133)

vi /etc/sysconfig/network

添加內容:

NETWORKING=yes

HOSTNAME=sunshine(自己的主機名,可以自己設置)

 

3、配置兩檯子節點名(192.168.83.134)和(192.168.83.135)

vi /etc/sysconfig/network

添加內容:

NETWORKING=yes

HOSTNAME=sunshineMin(自己的主機名,可以自己設置)

 

 

vi /etc/sysconfig/network

添加內容:

NETWORKING=yes

HOSTNAME=sunshineMax(自己的主機名,可以自己設置)

 

4、配置hosts

打開主節點的hosts文件,要將文件的前兩行註釋掉 (註釋當前主機的信息)併在文件中添加所有hadoop集群的主機信息。

vi /etc/hosts

192.168.83.133   sunshine

192.168.83.134   sunshineMin

192.168.83.135   sunshineMax

保存之後,將主節點的hosts分別拷貝到其他兩個子節點

scp /etc/hosts [email protected]:/etc/

scp /etc/hosts [email protected]:/etc/

然後分別執行(重啟伺服器也可以不執行下麵的語句): /bin/hostname hostname

例如:master上執行/bin/hostname master,使之生效。

接下來的Hadoop集群安裝中配置ssh無密碼訪問,jdk的安裝以及Hadoop的安裝與配置請看Hadoop集群搭建(二)!


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • Zookeeper概論(對zookeeper的概論、原理、架構等的理解) 一、概論 Zookeeper是一個分散式的、開放源碼的分散式應用程式協調服務,是Google的Chubby一個開源的實現,是hadoop和hbase 的重要組件。它是一個為分散式應用提供一致性服務的軟體。提供的功能包括:配置維 ...
  • 定義 若左子樹非空,則左子樹上所有結點關鍵字值均小於根節點關鍵字值 若右子樹非空,則右子樹上所有節點關鍵字值均大於根節點關鍵字值 左,右子樹分別是一顆二叉排序樹 二叉排序樹插入 二查排序樹插入定義:若原二叉樹為空,則直接插入節點。否則,若關鍵字K小於根節點關鍵字,則插入到左子樹中。若關鍵字K大於根節... ...
  • 以前寫了篇SQL SERVER 2008資料庫各版本功能對比,官網提供的那個功能確實很好很強大,後面發現那個鏈接失效了。今天又遇到要對比SQL Server 2014資料庫版本功能需求,搜索找了好久才找到,索性將這些鏈接收錄在此,以備不時之需。 SQL Server 2008https://tech... ...
  • Hadoop集群搭建安裝過程(三)(圖文詳解 盡情點擊!!!) 一、JDK的安裝 安裝位置都在同一位置(/usr/tools/jdk1.8.0_73) jdk的安裝在克隆三台機器的時候可以提前安裝,通過scp使安裝文件和環境配置(/etc/profile)都拷貝過去,並使三台機 器都通過(sourc ...
  • 對於大神來說,不看都知道,但是對於和我一樣的菜鳥,就需要解釋一下了。 a,b是數據表名稱,c,d,e,f是數據。而c,d,e,f這些數據不一定非得來自b表,可以來自left join,right join和內連接查詢出來的結果 個人覺得使用起來還是比較方便的。 1 SELECT c,d,e FROM ...
  • 業務運行一段時間,發現原來的主鍵設置並不合理,這個時候,想變更主鍵。這種需求在實際生產中還是蠻多的。 下麵,看看pt-online-schema-change解決這類問題的處理方式。 首先,創建一張測試表 create table t2(c1 int primary key, c2 int); 構造 ...
  • 在開髮網站時,我們需要對用戶註冊的郵箱進行核對與驗證,用戶填寫的郵箱是否有效郵箱。好吧,我們先從資料庫入手,修改用戶表讓用戶有填寫email的欄位,添加了2個欄位: ALTER TABLE [dbo].[Users] ADD [Email] VARCHAR(100) NULL, [IsVerify] ...
  • ORA-00001: 違反唯一約束條件 (.) ORA-00017: 請求會話以設置跟蹤事件 ORA-00018: 超出最大會話數 ORA-00019: 超出最大會話許可數 ORA-00020: 超出最大進程數 () ORA-00021: 會話附屬於其它某些進程;無法轉換會話 ORA-00022:  ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...