hadoop的client搭建-即集群外主機訪問hadoop

来源:https://www.cnblogs.com/pu20065226/archive/2018/02/24/8464867.html
-Advertisement-
Play Games

1增加主機映射(與namenode的映射一樣): 增加最後一行 2新建用戶hadoop 建立hadoop用戶組 新建用戶,useradd -d /usr/hadoop -g hadoop -m hadoop (新建用戶hadoop指定用戶主目錄/usr/hadoop 及所屬組hadoop) pass ...


1增加主機映射(與namenode的映射一樣):

增加最後一行 

 [root@localhost ~]# su - root
1
[root@localhost ~]# vi /etc/hosts 2 127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4 3 ::1 localhost localhost.localdomain localhost6 localhost6.localdomain6 4 192.168.48.129 hadoop-master 5 [root@localhost ~]#


2新建用戶hadoop

建立hadoop用戶組

新建用戶,useradd -d /usr/hadoop -g hadoop -m hadoop (新建用戶hadoop指定用戶主目錄/usr/hadoop 及所屬組hadoop)

passwd hadoop 設置hadoop密碼(這裡設置密碼為hadoop)

[root@localhost ~]# groupadd hadoop  
[root@localhost ~]# useradd -d /usr/hadoop -g hadoop -m hadoop
[root@localhost ~]# passwd hadoop

 

 

3配置jdk環境

本次安裝的是hadoop-2.7.5,需要JDK 7以上版本。若已安裝可跳過。

JDK安裝可參考:https://www.cnblogs.com/shihaiming/p/5809553.html

或者直接拷貝master上的JDK文件更有利於保持版本的一致性。

[root@localhost java]# su - root
[root@localhost java]# mkdir -p /usr/java
[root@localhost java]# scp -r hadoop@hadoop-master:/usr/java/jdk1.7.0_79 /usr/java
[root@localhost java]# ll
total 12
drwxr-xr-x. 8 root root 4096 Feb 13 01:34 default
drwxr-xr-x. 8 root root 4096 Feb 13 01:34 jdk1.7.0_79
drwxr-xr-x. 8 root root 4096 Feb 13 01:34 latest

 

設置Java及hadoop環境變數

確保/usr/java/jdk1.7.0.79存在

su - root

vi /etc/profile

 確保/usr/java/jdk1.7.0.79存在

1 unset i
2 unset -f pathmunge
3 JAVA_HOME=/usr/java/jdk1.7.0_79
4 CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
5 PATH=/usr/hadoop/hadoop-2.7.5/bin:$JAVA_HOME/bin:$PATH

設置生效(重要)

 

[root@localhost ~]# source /etc/profile
[root@localhost ~]# 

 

 

JDK安裝後確認:

 

[hadoop@localhost ~]$ java -version
java version "1.7.0_79"
Java(TM) SE Runtime Environment (build 1.7.0_79-b15)
Java HotSpot(TM) 64-Bit Server VM (build 24.79-b02, mixed mode)
[hadoop@localhost ~]$ 

 

 

4設置hadoop的環境變數

拷貝namenode上已配置好的hadoop目錄到當前主機

 

[root@localhost ~]# su - hadoop
Last login: Sat Feb 24 14:04:55 CST 2018 on pts/1
[hadoop@localhost ~]$ pwd
/usr/hadoop
[hadoop@localhost ~]$ scp -r hadoop@hadoop-master:/usr/hadoop/hadoop-2.7.5 .
The authenticity of host 'hadoop-master (192.168.48.129)' can't be established.
ECDSA key fingerprint is 1e:cd:d1:3d:b0:5b:62:45:a3:63:df:c7:7a:0f:b8:7c.
Are you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added 'hadoop-master,192.168.48.129' (ECDSA) to the list of known hosts.
hadoop@hadoop-master's password:

 

[hadoop@localhost ~]$ ll
total 0
drwxr-xr-x  2 hadoop hadoop   6 Feb 24 11:32 Desktop
drwxr-xr-x  2 hadoop hadoop   6 Feb 24 11:32 Documents
drwxr-xr-x  2 hadoop hadoop   6 Feb 24 11:32 Downloads
drwxr-xr-x 10 hadoop hadoop 150 Feb 24 14:30 hadoop-2.7.5
drwxr-xr-x  2 hadoop hadoop   6 Feb 24 11:32 Music
drwxr-xr-x  2 hadoop hadoop   6 Feb 24 11:32 Pictures
drwxr-xr-x  2 hadoop hadoop   6 Feb 24 11:32 Public
drwxr-xr-x  2 hadoop hadoop   6 Feb 24 11:32 Templates
drwxr-xr-x  2 hadoop hadoop   6 Feb 24 11:32 Videos
[hadoop@localhost ~]$ 

到此,Hadoop的客戶端安裝就算完成了,接下來就可以使用了。

執行hadoop命令結果如下,

 

[hadoop@localhost ~]$ hadoop
Usage: hadoop [--config confdir] [COMMAND | CLASSNAME]
  CLASSNAME            run the class named CLASSNAME
 or
  where COMMAND is one of:
  fs                   run a generic filesystem user client
  version              print the version
  jar <jar>            run a jar file
                       note: please use "yarn jar" to launch
                             YARN applications, not this command.
  checknative [-a|-h]  check native hadoop and compression libraries availability
  distcp <srcurl> <desturl> copy file or directories recursively
  archive -archiveName NAME -p <parent path> <src>* <dest> create a hadoop archive
  classpath            prints the class path needed to get the
  credential           interact with credential providers
                       Hadoop jar and the required libraries
  daemonlog            get/set the log level for each daemon
  trace                view and modify Hadoop tracing settings

Most commands print help when invoked w/o parameters.
[hadoop@localhost ~]$

 5.使用hadoop

創建本地文件

[hadoop@localhost ~]$ hdfs dfs -ls
Found 1 items
drwxr-xr-x   - hadoop supergroup          0 2018-02-22 23:41 output

[hadoop@localhost ~]$ vi my-local.txt hello boy! yehyeh

上傳本地文件至集群

[hadoop@localhost ~]$ hdfs dfs -mkdir upload
[hadoop@localhost ~]$ hdfs dfs -ls upload
[hadoop@localhost ~]$ hdfs dfs -ls 
Found 2 items
drwxr-xr-x   - hadoop supergroup          0 2018-02-22 23:41 output
drwxr-xr-x   - hadoop supergroup          0 2018-02-23 22:38 upload
[hadoop@localhost ~]$ hdfs dfs -ls upload
[hadoop@localhost ~]$ hdfs dfs -put my-local.txt upload
[hadoop@localhost ~]$ hdfs dfs -ls upload
Found 1 items
-rw-r--r--   3 hadoop supergroup         18 2018-02-23 22:45 upload/my-local.txt
[hadoop@localhost ~]$ hdfs dfs -cat upload/my-local.txt
hello boy!
yehyeh
[hadoop@localhost ~]$

 ps:註意本地java版本與master拷貝過來的文件中/etc/hadoop-env.sh配置的JAVA_HOME是否要保持一致沒有驗證過,本文是保持一致的  


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • varnish介紹 varnish varnish的特點 varnish的工作原理 varnish的優缺點 varnish設計原則 存儲對象 對象生命周期 varnish的應用程式 varnish安裝 varnish程式架構 varnish的程式環境 ...
  • 前言 本篇博文記錄結束之後,關於linux的基礎使用就要告上一段落了,下麵就真正開始了大數據相關內容的快速學習了。本篇博文要介紹的是linux的許可權管理以及相關的RPM軟體包的管理還有yum命令介紹。 一、Linux的許可權管理 1.1三種基本許可權 r——可讀許可權(read) w——可寫許可權(writ ...
  • ZooKeeper 是一個開源的分散式協調服務,由雅虎公司創建,是Google Chubby的開源實現,ZooKeeper的設計目標是將那些複雜且容易出錯的分散式一致性服務封裝起來,構成一個高效可靠的原語集。 ZooKeeper 是什麼 ZooKeeper是一個典型的分散式數據一致性的解決方案,分佈 ...
  • 本人遇到一次在安裝zabbix監控的時候,yum安裝的MySQL資料庫,後面用了一段時間發現data目錄下的ibdata1的空間特別大,反而我的zabbix資料庫的空間很小,這樣的情況在後面備份zabbix資料庫的時候會很不方便,所以想著要怎麼解決下。ibdata1文件是什麼? ibdata1是一個 ...
  • 1. 建表 2. 刪表 3. 常見數據類型 4. 聲明主碼 5. 聲明外碼 6. 聲明主碼,外碼的另一種方式 ...
  • 前言 對於生產環境,高可用是避免不了要面對的問題,無論什麼環境、服務,只要用於生產,就需要滿足高可用;此文針對的是redis的高可用。 接下來會有系列文章,該系列是對spring-session實現分散式集群session的共用的完整闡述,同時也引伸出緩存的實現;而此篇是該系列的第一篇。 githu ...
  • 帶emoji表情彈出層的評論框,semantic+emoji picker,java.sql.SQLException: Incorrect string value: '\xF0\x9F..' ...
  • ROW_NUMBER()函數將針對SELECT語句返回的每一行,從1開始編號,賦予其連續的編號 必須和over一起使用 select *,ROW_NUMBER() over(order by productid) as num from product_test; ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...