hadoop3.0 alpha1 安裝配置

来源:http://www.cnblogs.com/anlei/archive/2016/10/18/5972659.html
-Advertisement-
Play Games

1. 官網下載 wget http://apache.fayea.com/hadoop/common/hadoop-3.0.0-alpha1/hadoop-3.0.0-alpha1.tar.gz 2. 解壓 tar -zxvf hadoop-3.0.0-alpha1.tar.gz ln -s had ...


1. 官網下載

 

 wget  http://apache.fayea.com/hadoop/common/hadoop-3.0.0-alpha1/hadoop-3.0.0-alpha1.tar.gz

 

2. 解壓

tar -zxvf hadoop-3.0.0-alpha1.tar.gz

ln -s hadoop-3.0.0-alpha1 hadoop3

 

3. 環境變數

vi /etc/profile

#Hadoop 3.0
export HADOOP_HOME=/usr/local/hadoop3
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

source /etc/profile

註意:/usr/local/hadoop3為解壓路徑

 

4. 配置文件(hadoop3/etc/hadoop)

1) hadoop-env.sh

註意: /usr/java/jdk1.8為jdk安裝路徑

 

2)core-site.xml

註意:hdfs://ha01:9000 中ha01是主機名

 

3) hdfs-site.xml

 

4) yarn-site.xml

註意:ha01是主機名

 

5) mapred-site.xml

註意:如果不配置mapreduce.admin.user.env 和 yarn.app.mapreduce.am.env這兩個參數mapreduce運行時有可能報錯。

 

6)workers

這裡跟以前的slaves配置文件類似,寫上從節點的主機名

 

5. 複製到其他節點

scp -r hadoop-3.0.0-alpha1 root@ha02:/usr/local

scp -r hadoop-3.0.0-alpha1 root@ha03:/usr/local

 

6. 格式化

hdfs namenode -format

 

7. 啟動

start-dfs.sh

start-yarn.sh

 

hdfs dfs -ls /

 

8. 運行wordcount

 hdfs dfs -cat /logs/wordcount.log

hadoop jar /usr/local/hadoop3/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.0.0-alpha1.jar wordcount /logs/wordcount.log /output/wordcount

註意: /usr/local/hadoop3是解壓路徑,/logs/wordcount.log是輸入文件路徑,/output/wordcount運行結果路徑

查看運行結果: hdfs dfs -text /output/wordcount/part-r-00000

 

9. Web界面

http://ha01:9870/

http://ha01:8088/


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 在項目中一般需要對一些數據進行處理,以下提供一些基本的SQL語句: 1.基於條件的插入和修改:需要在表中插入一條記錄,插入前根據key標識判斷。如果標識符不存在,則插入新紀錄,如果標識符存在,則根據語句中所給的新值對原紀錄中的欄位進行更新: 2.在分組和集合里統計分組:當需要統計一個分組裡的成員,或 ...
  • 一、關於用戶 Oracle安裝會自動的生產sys用戶和system用戶: 1. sys用戶是超級用戶,具有最高許可權,具有sysdba角色,有create database的許可權,該用戶的預設密碼是change_on_install 。 2. system用戶是管理操作員,許可權也很大,具有sysope ...
  • 有個經典的題目:1-100之間的數字(不重覆)存放在表裡,共95行一列,但是裡面缺了5個數字,怎麼用SQL最快找出那五個數字。 我們先來看看Oracle資料庫如何實現,如下所示,我們先準備測試環境和數據。 SQL> create table t( id number(10)); Table crea... ...
  • 業務描述: 統計從kafka spout中讀取的數據條數,以及寫入redis的數據的條數,寫入hdfs的數據條數,寫入kafaka的數據條數。並且每過5秒將數據按照json文件的形式寫入日誌。其中保存為json數據的格式為:時間戳 + 進程名稱 + 讀kafka數據條數 + 寫入redis數據條數 ...
  • 1.《Microsoft SQL Server企業級平臺管理實踐》徐海蔚2.《SQL Server 2005 Performance Tuning性能調校》胡百敬3.《Microsoft SQL Server 2005技術內幕:存儲引擎》在國外,不可多得的好書如下4.《Professional SQ ...
  • 1.註冊Oracle賬戶: 註冊地址:https://login.oracle.com/mysso/signon.jsp 註意:註冊的時候儘量使用外國的郵箱,因為使用國內的郵箱可能收不到Oracle發送的信息! 當然你也可以從別的地方下載,只要能用就可以了。 2.下載Oracle Database ...
  • 本文來自:http://www.cnblogs.com/yangxia-test/p/3922775.html 一.下載 http://www.oracle.com/technetwork/database/enterprise-edition/downloads/index.html以下兩網址來源 ...
  • 安裝解壓版MySQL以後,不能啟動,日誌裡面出現了這個錯誤: 這是因為mysql服務啟動時候找不到內置資料庫“mysql”,找不到那張表,將之前的目錄裡面的“mysql”資料庫拷貝到新的資料庫文件存放目錄,即可解決這個問題。 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...