【Mac】Hadoop單機版安裝教程

来源:http://www.cnblogs.com/kakareally/archive/2016/10/26/install_hadoop_on_mac.html
-Advertisement-
Play Games

1. 確保Java已經正確安裝。 查看Java版本:java -version 2. 下載hadoop源程式並解壓到apache的官網下載某一版本的hadoop,不同版本可能會存在較大差異。本教程中使用版本為2.7.1 https://dist.apache.org/repos/dist/relea ...


1. 確保Java已經正確安裝。

查看Java版本:java -version

2. 下載hadoop源程式並解壓
到apache的官網下載某一版本的hadoop,不同版本可能會存在較大差異。本教程中使用版本為2.7.1 https://dist.apache.org/repos/dist/release/hadoop/common/hadoop-2.7.1/, 解壓到某一文件夾位置。

3. 配置MacOS環境
打開終端,輸入 ssh localhost
如果有錯誤信息,多半是因為操作系統為了安全進行的預設設置。更改方法:系統偏好設置-共用-遠程登錄-將當前登錄用戶添加到允許訪問列表中。再次登錄就可以成功了。

4. 在啟動hadoop之前需要將下麵的配置加入到profile中,具體路徑按照各自情況決定。

export HADOOP_HOME=/Users/kaka/Documents/pilot/hadoop-2.7.1
export PATH=$PATH:$HADOOP_HOME/bin

5. 配置etc/hadoop下的hadoop-env.sh
export JAVA_HOME=${JAVA_HOME} 去掉註釋
export HADOOP_HEAPSIZE=2000 設置為2000
export HADOOP_OPTS="$HADOOP_OPTS -Djava.net.preferIPv4Stack=true" 去掉註釋

6. 配置core-site.xml - 指定NameNode主機名和埠

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>file:/Users/kaka/Documents/pilot/hadoop-2.7.1/tmp/</value>
<description>A base for other temporary directories.</description>
</property>
</configuration>

7. 配置hdfs-site.xml - 配置namenode和datanode

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/Users/kaka/Documents/pilot/hadoop-2.7.1/tmp/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/Users/kaka/Documents/pilot/hadoop-2.7.1/tmp/dfs/data</value>
</property></configuration>

8. 配置mapred-site.xml - 指定了JobTracker的主機名與埠

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
<property>
<name>mapred.job.tracker</name>
<value>hdfs://localhost:9001</value>
</property>
<property>
<name>mapred.tasktracker.map.tasks.maximum</name>
<value>2</value>
</property>
<property>
<name>mapred.tasktracker.reduce.tasks.maximum</name>
<value>2</value>
</property>
</configuration>

9. 安裝hdfs
$HADOOP_HOME/bin/hdfs namenode -format

10. 啟動hadoop

$HADOOP_HOME/sbin/start-all.sh


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 1. linux 基礎命令 who, which, basename, dirname, echo, type, hash, whatis, makewhatis, man, info, help, ls, cd,pwd, mkdir, rmdir, touch, rm, date, hwcolck ...
  • Navicat for MySQL 10.1.7註冊碼 用戶名、組織、註冊碼均為:NAVN-LNXG-XHHX-5NOO。 ...
  • 一、前言 生命不息,折騰不止。近期公司有數據遷移的計劃,從Sqlserver遷移到mysql,雖說網上有很多數據遷移方案,但閑著也是閑著,就自己整一個,權當做是練練手了 二、解決思路 整個遷移過程類似於ETL,將數據從來源端經過抽取(extract)、轉換(transform)、載入(load)至目 ...
  • 1、查詢當前用戶的所有表(自己的表) 2、查詢Oracle中所有的系統許可權,一般是DBA 3、查詢Oracle所有的角色,一般是DBA; 4、查詢Oracle中所有對象許可權 5、查詢資料庫的表空間 6、查詢當前用戶具有什麼樣的系統許可權 7、查詢當前用戶在其他用戶的表上具有什麼樣的對象許可權 8、查看某 ...
  • 好久不用mysql,今天突然想用的時候, mysql -uroot -p 直接報了下麵的錯誤 ERROR 2002 (HY000): Can't connect to local MySQL server through socket '/tmp/mysql.sock' (2) mac可以在設置裡面 ...
  • TensorBoard簡介 Tensorflow發佈包中提供了TensorBoard,用於展示Tensorflow任務在計算過程中的Graph、定量指標圖以及附加數據。大致的效果如下所示, TensorBoard工作機制 TensorBoard 通過讀取 TensorFlow 的事件文件來運行。Te ...
  • 廣義完整性:語義完整性,併發控制,安全控制,故障恢復 狹義完整性:專指語義完整性 完整性涉及實體完整性,參照完整性,用戶自定義完整性 DBMS保證完整性 由資料庫管理員來定義完整性規則,當用戶進行資料庫操作時。先由完整性控製程序根據完整性規則來檢查請求是否合法,如果合法則交給DBMS執行更新操作。 ... ...
  • 資料庫版本:11GR2 一、介紹 在oracle中沒有其他資料庫系統中的資料庫的概念,對象都是創建在用戶下。當前用戶具有當前用戶下所有對象的所有許可權無論該對象是否是當前用戶所創建。舉個簡單例子創建一個用戶授予該用戶連接許可權,然後用管理員用戶在該用戶下創建一張表,該用戶可以刪除管理員在該用戶下創建的表 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...