Hadoop環境搭建過程中遇到的問題以及解決方法

来源:https://www.cnblogs.com/zhoushengnan/archive/2019/08/05/11302161.html
-Advertisement-
Play Games

1.啟動hadoop之前,ssh免密登錄slave主機正常,使用命令start-all.sh啟動hadoop時,需要輸入slave主機的密碼,說明ssh文件許可權有問題,需要執行以下操作: 1)進入.ssh目錄下查看是否有公鑰私鑰文件authorized_keys、id_rsa、id_rsa.pub ...


1.啟動hadoop之前,ssh免密登錄slave主機正常,使用命令start-all.sh啟動hadoop時,需要輸入slave主機的密碼,說明ssh文件許可權有問題,需要執行以下操作:

1)進入.ssh目錄下查看是否有公鑰私鑰文件authorized_keys、id_rsa、id_rsa.pub

 

2)如果沒有公鑰私鑰文件,則執行ssh-keygen -t rsa生成秘鑰(master主機和slave主機都需要執行)

3)公鑰私鑰文件生成完成後,執行cat id_rsa.pub >> authorized_keys,將生成的公鑰添加到認證文件中

4)將slave伺服器公鑰寫入master伺服器authorized_keys文件中

[root@master ~]# ssh-copy-id -i slave01
[root@master ~]# ssh-copy-id -i slave02

5)登錄slave伺服器(ssh slave01),看是否需要輸入密碼,如果仍然需要輸入密碼,說明uthorized_keys文件許可權有問題,則執行下一步

6)使用ssh -vvv slave01 調試命令,進入到slave01調試界面

7)設置authorized_keys文件許可權為600,chmod 600 ~/.ssh/authorized_keys

 

8)同理,slave01也要同樣進行設置,在master主機的終端中繼續執行步驟6和步驟7中的命令

9)設置完成後在master主機中,登錄slave01和slave02,如果不需要輸入密碼,則配置完成

10)停止hadoop的所有進程:stop-all.sh

11)重新啟動hadoop:start-all.sh

 

2.啟動hadoop之後,使用jps查看,master伺服器中沒有namenode服務,解決方案如下:

1)首先停止hadoop的所有進程:stop-all.sh

2)格式化namenode:hdfs namenode -format

3)重新啟動hadoop:start-all.sh

4)輸入jps查看,可以看到namenode進程

 

 

3.啟動hadoop之後,使用jps查看,slave伺服器中沒有datanode服務,解決方案如下:

1)首先停止hadoop的所有進程:stop-all.sh

2)進入hadoop安裝目錄下:/software/hadoop中刪除hadoopdate文件夾

 

3)進入hadoop安裝目錄下:/software/hadoop中的hadoop-2.7.3文件夾中刪除logs文件夾

 

4)在slave01主機和slave02主機的終端執行步驟2和步驟3,確保步驟2和步驟3的文件夾都刪除乾凈

5)格式化namenode:hdfs namenode -format

6)重新啟動hadoop:start-all.sh

7)在slave01主機和slave02主機的終端輸入jps查看,可以看到datanode進程

 

以上均是個人在搭建環境實戰中遇到的問題,以及有效的解決方法,希望能幫到大家。

有興趣的朋友也可以一起交流探討。


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • Ctrl+N 當前位置新視窗打開Ctrl+Enter 點擊的文件夾新視窗打開 ...
  • 前言 大概幾個月之前項目中用到事務,需要保證數據的強一致性,期間也用到了mysql的鎖,但當時對mysql的鎖機制只是管中窺豹,所以本文打算總結一下mysql的鎖機制。 本文主要論述關於mysql鎖機制,mysql版本為5.7,引擎為innodb,由於實際中關於innodb鎖相關的知識及加鎖方式很多 ...
  • 概述 以 Hortonworks Data Platform (HDP) 平臺為例 ,hadoop大數據平臺的安全機制包括以下兩個方面: 身份認證 即核實一個使用者的真實身份,一個使用者來使用大數據引擎平臺,這個使用者需要表明自己是誰,即提供自己的身份證明,大數據平臺需要檢驗這個證明,確定這個證明是 ...
  • title: redis login limitation <! more 利用 redis 實現登陸次數限制, 註解 + aop, 核心代碼很簡單. 基本思路 比如希望達到的要求是這樣: 在 1min 內登陸異常次數達到5次, 鎖定該用戶 1h 那麼登陸請求的參數中, 會有一個參數唯一標識一個 u ...
  • Hadoop Shuffer     Hadoop 的shuffer主要分為兩個階段:Map、Reduce。 Map Shuffer:     這個階段發生在map階段之後,數據寫入記憶體之前,在數據寫入記憶體的過程就已經開 ...
  • mysql中的範式 範式 範式:Normal Format,是一種離散數學中的知識,是為瞭解決數據的存儲與優化的問題:保存數據的存儲之後,凡是能夠通過關係尋找出來的數據,堅決不再重覆存儲,終極目標是為了減少數據的冗餘。範式:是一種分層結構的規範,分為六層,每一層都比上一層更加嚴格,若要滿足下一層範式 ...
  • 講乾貨,不啰嗦,本教程主要基於Mysql資料庫,講解sql的基本使用。 資料庫主要包括增、刪、改、查等基本操作,以下為設計到的常用的sql語句: 一、查 1.select 語法查詢 SELECT column_name,column_name FROM table_name 其中column_nam ...
  • 10分鐘搞懂:億級用戶的分散式數據存儲解決方案https://www.cnblogs.com/lagou/p/11011682.html ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...