網站用戶行為分析——HBase的安裝與配置

来源:https://www.cnblogs.com/baojianxin/archive/2018/07/30/9392981.html
-Advertisement-
Play Games

Hbase介紹 HBase是一個分散式的、面向列的開源資料庫,源於Google的一篇論文《BigTable:一個結構化數據的分散式存儲系統》。HBase以表的形式存儲數據,表有行和列組成,列劃分為若幹個列族/列簇(column family)。欲瞭解HBase的官方資訊,請訪問[HBase官方網站] ...


Hbase介紹

  HBase是一個分散式的、面向列的開源資料庫,源於Google的一篇論文《BigTable:一個結構化數據的分散式存儲系統》。HBase以表的形式存儲數據,表有行和列組成,列劃分為若幹個列族/列簇(column family)。欲瞭解HBase的官方資訊,請訪問[HBase官方網站](http://hbase.apache.org/)。 HBase的運行有三種模式:單機模式、偽分散式模式、分散式模式。 單機模式:在一臺電腦上安裝和使用HBase,不涉及數據的分散式存儲;偽分散式模式:在一臺電腦上模擬一個小的集群;分散式模式:使用多台電腦實現物理意義上的分散式存儲。這裡出於學習目的,只重點討論單機模式和偽分散式模式。

  本文運行環境是在Ubuntu-64位系統下,HBase版本為hbase-1.1.2,這是目前已經發行的已經編譯好的穩定的版本,帶有src的文件是未編譯的版本,這裡只要下載bin版本hbase-1.1.2-bin.tar.gz就好了。hbase-1.1.2-bin.tar.gz.mds是用來校驗文件hbase-1.1.2-bin.tar.gz是否完整,一般不需要校驗,如果您想要校驗可以參考Hadoop安裝教程 中對Hadoop的校驗。


HBase的安裝

  1.解壓安裝包hbase-1.1.2-bin.tar.gz至路徑 /usr/local,命令如下:

  sudo tar -zxf ~/下載/hbase-1.1.2-bin.tar.gz -C /usr/local

  此處我的HBase在下載後所處的文件夾不是在下載目錄下,找到文件夾下載後所在的位置,將其複製到下載目錄下,但是由於文件的許可權是只讀,所以無法直接複製,打開文件的屬性,將其許可權進行修改,然後粘貼到下載目錄下。

  另外,在解壓後可以通過圖形界面找到該文件的位置,此處所指的路徑/usr/local,對應圖形界面的文件夾是:其他位置/電腦/usr/local。

  2.將解壓的文件名hbase-1.1.2改為hbase,以方便使用,命令如下:

  sudo mv /usr/local/hbase-1.1.2 /usr/local/hbase

  3.配置環境變數

  將hbase下的bin目錄添加到path中,這樣,啟動hbase就無需到/usr/local/hbase目錄下,大大的方便了hbase的使用。下麵的部分還是切換到了/usr/local/hbase目錄操作,有助於理解運行過程。

  編輯~/.bashrc文件

  vi ~/.bashrc

  如果沒有引入過PATH請在~/.bashrc文件尾行添加如下內容:

  export PATH=$PATH:/usr/local/hbase/bin

  編輯完成後,再執行source命令使上述配置在當前終端立即生效,命令如下:

  source ~/.bashrc

  4.添加HBase許可權

  cd /usr/local
  sudo chown -R hadoop ./hbase       #將hbase下的所有文件的所有者改為hadoop,hadoop是當前用戶的用戶名。

  chown -R hadoop:hadoop ./spark # hadoop是當前登錄Linux系統的用戶名,把當前目錄下的spark子目錄的所有許可權,賦予給用戶hadoop

  5.查看HBase版本,確定hbase安裝成功,命令如下:

  /usr/local/hbase/bin/hbase version

       

  看到以上輸出消息表示HBase已經安裝成功,接下來將分別進行HBase單機模式和偽分散式模式的配置。


HBase配置

  HBase有三種運行模式,單機模式、偽分散式模式、分散式模式。作為學習,重點討論單機模式和偽分散式模式。
  以下先決條件很重要,比如沒有配置JAVA_HOME環境變數,就會報錯。
  (1)jdk
  (2)Hadoop( 單機模式不需要,偽分散式模式和分散式模式需要)
  (3)SSH

  1.單機模式配置

  (1)配置/usr/local/hbase/conf/hbase-env.sh 。配置JAVA環境變數,並添加配置HBASE_MANAGES_ZK為true,用vi命令打開並編輯hbase-env.sh,命令如下:

  vi /usr/local/hbase/conf/hbase-env.sh

  配置JAVA環境變數,jdk的安裝目錄預設是 /usr/lib/jvm/java-1.7.0-openjdk, 則JAVA _HOME =/usr/lib/jvm/java-7-openjdk-amd64,其中java-1.7.0-openjdk是你的jdk版本;配置HBASE_MANAGES_ZK為true,表示由hbase自己管理zookeeper,不需要單獨的zookeeper。hbase-env.sh中本來就存在這些變數的配置,只需要刪除前面的#並修改配置內容即可(#代表註釋):

  export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64
  export HBASE_MANAGES_ZK=true

      

  添加完成後保存退出即可。

  (2)配置/usr/local/hbase/conf/hbase-site.xml

  打開並編輯hbase-site.xml,命令如下:

  vi /usr/local/hbase/conf/hbase-site.xml

  在啟動HBase前需要設置屬性hbase.rootdir,用於指定HBase數據的存儲位置,因為如果不設置的話,hbase.rootdir預設為/tmp/hbase-${user.name},這意味著每次重啟系統都會丟失數據。此處設置為HBase安裝目錄下的hbase-tmp文件夾即(/usr/local/hbase/hbase-tmp),添加配置如下:   

  (3)接下來測試運行。首先切換目錄至HBase安裝目錄/usr/local/hbase;再啟動HBase。命令如下:

  cd /usr/local/hbase
  bin/start-hbase.sh
  bin/hbase shell

 


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 第一章: entity 實體 relationship 關係 diagram 圖表 model 模型 normal 規範的 formate 形式 hotel 旅館 guest 客人 promation 提升 推廣 state 狀態 type 類型 第二章: networking 網路 option ...
  • 老樣子,不多BiBi,直接進入主題! 有時候在linux下編譯好QT程式,用QTCreator運行沒問題,但是用命令./XX就會報錯:error while loading shared libraries:等等問題,有同學可能會問我的依賴庫已經放在可執行文件同目錄下了,怎麼會找不到呢,這裡需要 1 ...
  • 存儲過程是一組為了完成特定功能的sql語句集,存儲在資料庫中,經過一次編譯後再次調用不需要編譯。用戶通過指定存儲過程的名字來執行它。 基本語法: create or replace procedure procedure_01 is//一直糾結這裡是is還是as,查資料後發現:在存儲過程(proce ...
  • 小編帶大家來分析一下,零基礎入門學習大數據可以從事哪些工作呢? 2018年隨著當代信息技術的迅猛發展,大數據在人們的工作、生產、生活、學習、娛樂等方面,人們想開始學習大數據的時候,最常問我的問題是,“我應該學Hadoop(hadoop是一款開源軟體,主要用於分散式存儲和計算,他由HDFS和MapRe ...
  • 使用pyspark 在hive中建表,分區導入,增量,解決數據換行符問題彙總 ...
  • zookeeper是一個自動管理分散式集群的一個工具,以實現集群的高可用。 比如集群中的一個機器掛掉了,沒有zookeeper的話就得考慮掛一個機器對剩下集群工作的影響,而有了zookeeper,它就能自動幫你協調這些事兒。 正規的解釋如下: zookeeper是 一個開源的針對大型分散式系統的可靠 ...
  • 一、Redis高可用概述 在介紹Redis高可用之前,先說明一下在Redis的語境中高可用的含義。 我們知道,在web伺服器中,高可用是指伺服器可以正常訪問的時間,衡量的標準是在多長時間內可以提供正常服務(99.9%、99.99%、99.999% 等等)。但是在Redis語境中,高可用的含義似乎要寬 ...
  • Preface In my previous blogs,I've demonstrated several mothods of how to rescue a dropped table(or truncated table as well). full mysqldump backup + b ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...