Hadoop_day01

来源:http://www.cnblogs.com/jkdong1024/archive/2016/01/13/5127381.html
-Advertisement-
Play Games

Hadoop7天課程 課程體系 Day01>>>>>>>>>>>>>>>>>>>> hadoop項目簡介 hadoop簡介 hadoop前景 apache的開源項目 解決問題：（核心） 海量數據的存儲（HDFS） ---Hadoop分散式文件系統，解決機器怎麼存儲 海量數據的分析（MapReduce...


Hadoop7天課程

課程體系

Day01>>>>>>>>>>>>>>>>>>>>

hadoop項目簡介

hadoop簡介

hadoop前景

apache的開源項目

  • 解決問題：（核心）

    海量數據的存儲（HDFS）

    ---Hadoop分散式文件系統，解決機器怎麼存儲

    海量數據的分析（MapReduce）

    ----分佈的計算模型，解決機器怎麼幹活，區分主從

    資源管理調度（YARN）

    ---另一個資源調用系統，hadoop2.0之後出現，以前只能MapReduce

    （不局限於mapreduce：storm實時流、mpi等）

  • 作者：Doug Cutting

    Hadoop的商業版本cdh，已經提供技術支持

    lucene的作者

  • 受Google三篇論文的啟發(GFS、MapReduce、BigTable)

    gfs谷歌的分散式文件系統---hdfs數據存儲

    mapreduce谷歌分散式計算模型----mapreduce數據分析

    bigtable大表資料庫---hbase列式資料庫（介於關係型和nosql之間）怎麼存儲

hadoop能做什麼？

hadoop擅長日誌分析，主要處理離線數據（分析以前產生的數據），facebook就用Hive來進行日誌分析，2009年時facebook就有非編程人員的30%的人使用HiveQL進行數據分析；淘寶搜索中的自定義篩選也使用的Hive；利用Pig還可以做高級的數據處理，包括Twitter、LinkedIn 上用於發現您可能認識的人，可以實現類似Amazon.com的協同過濾的推薦效果。淘寶的商品推薦也是！在Yahoo！的40%的Hadoop作業是用pig運行的，包括垃圾郵件的識別和過濾，還有用戶特征建模。（2012年8月25新更新，天貓的推薦系統是Hive，少量嘗試mahout！）

storm做實時推薦

hadoop的廣泛應用

哪些公司使用hadoop

Hadoop被公認是一套行業大數據標準開源軟體，在分散式環境下提供了海量數據的處理能力。幾乎所有主流廠商都圍繞Hadoop開發工具、開源軟體、商業化工具和技術服務。今年大型IT公司，如EMC、Microsoft、Intel、Teradata、Cisco都明顯增加了Hadoop方面的投入

hadoop在淘寶

  • 從09年開始，用於對海量數據的離線處理，例如對日誌的分析，交易記錄的分析等
  • 規模從當初的3~4百台節點，增加到現在的一個集群有3000個節點，淘寶現在已經有2~3個這樣的集群
  • 在支付寶的集群規模也有700台節點，使用Hbase對用戶的消費記錄可以實現毫秒級查詢

擴展知識：參照淘寶雙十一解決方案

淘寶數據魔方的架構

淘寶數據魔方的真實面目

hadoop生態圈

版本

  • Apache

官方版本(2.4.1)

  • Cloudera---cdh（hadoop的商業版本）

    使用下載最多的版本，穩定，有商業支持，在Apache的基礎上打上了一些patch。推薦使用。

  • HDP(Hortonworks Data Platform)

Hortonworks公司發行版本。

Hadoop的核心

Hdfs分散式文件系統

Mapreduce並行計算框架

Yarn資源管理調度系統（運行符合規則的程式）

1.0和2.0

Yarn的出現使得hadoop可以支持多個計算框架（不僅是mapreduce）

核心之一---yarn

核心之二--hdfs

怎麼解決海量數據的存儲

通過水平擴展機器數量來提高存儲數據的能力

hdfs的架構

  • 主從結構

    主節點，只有一個: namenode，負責管理

    從節點，有很多個: datanode 負責存儲

  • namenode負責：

    接收用戶操作請求

    維護文件系統的目錄結構

    管理文件與block之間關係，block與datanode之間關係

  • datanode負責：

    存儲文件

    文件被分成block存儲在磁碟上

    為保證數據安全，文件會有多個副本

核心之三--mapreduce編程模型

怎樣解決海量數據的計算

map：大任務分解為若幹個小任務

reduce：小任務再彙總整合成大任務的結果

hadoop集群的物理分佈：

Rack：機架、switch：交換機、datanode：hdfs的小弟（從節點）

單點物理結構

Hadoop部署方式

本地模式：eclipse調試用，只啟一個mapper一個reduce

偽分佈模式：一臺機器模擬多台機器

集群模式：真實的生產環境

hadoop的特點

  • 擴容能力（Scalable）：能可靠地（reliably）存儲和處理千兆位元組（PB）數據。
  • 成本低（Economical）：可以通過普通機器組成的伺服器群來分發以及處理數據。這些伺服器群總計可達數千個節點。
  • 高效率（Efficient）：通過分發數據，hadoop可以在數據所在的節點上並行地（parallel）處理它們，這使得處理非常的快速。
  • 可靠性（Reliable）：hadoop能自動地維護數據的多份副本，並且在任務失敗後能自動地重新部署（redeploy）計算任務。

搭建hadoop的偽分佈環境

1.準備Linux環境

    1.0點擊VMware快捷方式，右鍵打開文件所在位置 -> 雙擊vmnetcfg.exe -> VMnet1 host-only ->修改subnet ip 設置網段：192.168.1.0 子網掩碼：255.255.255.0 -> apply -> ok

        回到windows --> 打開網路和共用中心 -> 更改適配器設置 -> 右鍵VMnet1 -> 屬性 -> 雙擊IPv4 -> 設置windows的IP：192.168.1.110 子網掩碼：255.255.255.0 -> 點擊確定

        在虛擬軟體上 --My Computer -> 選中虛擬機 -> 右鍵 -> settings -> network adapter -> host only -> ok    

    1.1修改主機名

    

        vim /etc/sysconfig/network

        NETWORKING=yes

        HOSTNAME=itcast01 ###

    1.2修改IP

        兩種方式：

        第一種：通過Linux圖形界面進行修改（強烈推薦）

            進入Linux圖形界面 -> 右鍵點擊右上方的兩個小電腦 -> 點擊Edit connections -> 選中當前網路System eth0 -> 點擊edit按鈕 -> 選擇IPv4 -> method選擇為manual -> 點擊add按鈕 -> 添加IP：192.168.1.119 子網掩碼：255.255.255.0 網關：192.168.1.1 -> apply

        第二種：修改配置文件方式（屌絲程式猿專用）

            vim /etc/sysconfig/network-scripts/ifcfg-eth0

            DEVICE="eth0"

            BOOTPROTO="static"

            HWADDR="00:0C:29:2C:BF:E3"

            IPV6INIT="yes"

            NM_CONTROLLED="yes"

            ONBOOT="yes"

            TYPE="Ethernet"

            UUID="ce22eeca-ecde-4536-8cc3-ef0fc36d6a8c"

            IPADDR="192.168.56.32 "

            NETMASK="255.255.255.0"

            GATEWAY="192.168.56.1"

    1.3修改主機名和IP的映射關係

    ----x相當於本地的dns

        vim /etc/hosts

        192.168.56.31    jkdong01

    1.4關閉防火牆

        #查看防火牆狀態

        service iptables status

        #關閉防火牆

        service iptables stop

        #查看防火牆開機啟動狀態

        chkconfig iptables --list

        #關閉防火牆開機啟動

        chkconfig iptables off

    1.5重啟Linux

        reboot

2.安裝JDK

    2.1上傳（ftp工具）

    2.2解壓jdk

        #創建文件夾

        mkdir /usr/java

        #解壓

        tar -zxvf jdk-7u55-linux-i586.tar.gz -C /usr/java/

    2.3將java添加到環境變數中

        vim /etc/profile

        #在文件最後添加

        export JAVA_HOME=/usr/java/jdk1.7.0_55

        export PATH=$PATH:$JAVA_HOME/bin

        #刷新配置

        source /etc/profile

3.安裝Hadoop

    3.1上傳hadoop安裝包

    3.2解壓hadoop安裝包

        #解壓到/itcast/目錄下

        tar -zxvf hadoop-2.2.0.tar.gz -C /itcast/

    3.3修改配置文件（5個）

Cd etc/hadoop

        第一個：hadoop-env.sh—指定環境變數

        #在27行修改

        第二個：core-site.xml—hadoop核心配置

        

        第三個：hdfs-site.xml—hdfs節點配置

        

        第四個：mapred-site.xml.template 需要重命名： mv mapred-site.xml.template mapred-site.xml

            

第五個：yarn-site.xml

    

    3.4將hadoop添加到環境變數

        命令：vim /etc/profile

                再執行：source /etc/profile刷新配置

    3.5格式化HDFS（namenode）第一次使用時要格式化

        hadoop namenode -format（過時了但是依然可用）

hdfs namenode -format（現用的格式化命令）

    3.6啟動hadoop

        先啟動HDFS

        sbin/start-dfs.sh

        再啟動YARN

        sbin/start-yarn.sh

    3.7驗證是否啟動成功

        使用jps命令驗證

4.配置ssh免密碼登陸

Ssh即安全的shell命令

    生成ssh免登陸密鑰

    cd ~，進入到我的home目錄

    cd .ssh/

    ssh-keygen -t rsa （四個回車）

    執行完這個命令後，會生成兩個文件id_rsa（私鑰）、id_rsa.pub（公鑰）

    將公鑰拷貝到要免登陸的機器上

/root/.ssh目錄下：cp id_rsa.pub authorized_keys

    或

    ssh-copy-id 192.168.56.32

Ssh免密登錄的原理

這樣server A就可以對server B進行免密碼登錄

Day02>>>>>>>>>>>>>>>>>>>>

課程安排：

  • 分散式文件系統與HDFS
  • HDFS體繫結構與基本概念
  • HDFS的shell操作
  • java介面及常用api

hdfs原理

Datanode會橫向流水線方式複製文件產生副本

上傳的文件還會分block塊（hadoop塊的大小128M）

分散式文件系統

用一個系統來管理多台機器上的文件（冗餘存儲）

允許通過網路分享文件和存儲空間

通透性：訪問遠程文件就像訪問本地資源一樣

容錯：持續運行而不會使數據損失

Hdfs就是一種分散式文件系統，不支持併發寫（按block塊的順序寫），小文件不適合（hadoop1.x）

常見分散式文件系統：gfs（谷歌文件系統），hdfs、Lustre。。。

 

Day03>>>>>>>>>>>>>>>>>>>>

 

Day04>>>>>>>>>>>>>>>>>>>>

 

Day05>>>>>>>>>>>>>>>>>>>>

 

Day06>>>>>>>>>>>>>>>>>>>>

 

Day07>>>>>>>>>>>>>>>>>>>>

 


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • GRUB學習筆記（轉自http://www.cnblogs.com/evilzy/archive/2008/03/30/1130173.html）
    grub學習筆記1 首先要瞭解的幾個概念1.1 啟動管理器啟動管理器是存儲在磁碟開始扇區中的一段程式，例如，硬碟的MBR(Master Boot Record)，在系統完成啟動測試後，如果系統是從MBR啟動，則BIOS(Basic Input/Output System)將控制傳送給MBR。然後存儲...
  • [每日電路圖] 3、無線充電原理解析及經典設計方案集錦【轉+解讀】
    come from elecfans : http://www.elecfans.com/article/83/146/2014/20140912353545_a.html[導讀] 無線充電技術的原理研究可以追溯到19世紀30年代，科學家邁克爾•法拉第首先發現了電磁感應原理，即周圍磁場的變化...
  • Linux xclip命令
    一、簡介 xclip命令建立了終端和剪切板之間通道，可以用於以命令的方式將終端輸出或文件的內容保存到剪切板中，也可以用於將剪切板的內容輸出到終端或文件中。 在 X 系統裡面，從一個視窗複製一段文字到另一個視窗，有兩套機制，分別是 Selections 和 cut buffers： 常用的 copy ...
  • 搬瓦工(banwagonhost)一鍵搭建vps
    作為低端 VPS ，大家購買搬瓦工（banwagonhost）用得最多的就是拿來科學上網了。搬瓦工可能自己也發現了這個問題，為了滿足廣大消費者的需求，因時制宜地推出了一鍵翻牆的安裝選項，在此之前還推出了 OpenVPN 的一鍵安裝，建議不要使用OpenVPN 。它VPN協議特征明顯，GFW可以非常容...
  • Hadoop HDFS負載均衡
    Hadoop HDFS負載均衡 轉載請註明出處： "http://www.cnblogs.com/BYRans/" <br/ Hadoop HDFSHadoop 分散式文件系統（Hadoop Distributed File System），簡稱 HDFS，被設計成適合運行在通用硬體上的分散式...
  • MongoDB3.2 集群搭建
    一、集群的理論知識1.1 集群成員MongoDB的集群類似於GreenPlum集群，由一個入口節點負責任務分發與結果統計，分片結節負責執行任務。不同GP，多了一個config servers。集群有三個組件：A。shards:分片，即數據結點，存儲數據和執行計算。為了保證高可用和數據一致性，生產環境...
  • C#開發介面——MongoDB(對庫操作）
    MongoDB的C#驅動只有一些類是線程安全的，其中包含（MongoServer、MongoDatabase、MongoCollection、MongoGridFS)，其他的大多數類不是線程安全的。有些場景需要保證數據的正確性，需要將一系列的操作綁定到DB級對象。那麼可以用類似事務控制的方式保證一致...
  • Java實現文件上傳
    最近自己在做一個小系統玩的時候涉及到了文件的上傳，於是在網上找到Java上傳文件的方案，最後確定使用common-fileupload實現上傳操作。需求說明用戶添加頁面有一個“上傳”按鈕，點擊按鈕彈出上傳界面，上傳完成後關閉上傳界面。所需Jar包commons.fileupload-1.2.0.ja...
一周排行
    -Advertisement-
    Play Games
  • 移動開發（一）：使用.NET MAUI開發第一個安卓APP
    移動開發（一）：使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說，近來想嘗試開發一款安卓APP，考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP，畢竟是使用Visual Studio開發工具，使用起來也比較的順手，結合微軟官方的教程進行了安卓 ...
  • wpf ToggleButton選中效果和一個登錄界面
    前言 QuestPDF 是一個開源 .NET 庫，用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫，它徹底改變了我們生成 PDF 文檔的方 ...
  • 彈幕樹洞項目功能新增篇
    項目地址 項目後端地址： https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址： ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址： http://tree ...
  • 第27篇 sqlserver2022詳細安裝步驟
    話不多說，直接開乾 一.下載 1.官方鏈接下載： https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe，運行開始下載SQL server； 二. ...
  • .NET 開源高性能 MQTT 類庫
    前言 隨著物聯網（IoT）技術的迅猛發展，MQTT（消息隊列遙測傳輸）協議憑藉其輕量級和高效性，已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫，為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog文檔翻譯系列（六） - 可用的接收器、增強器、格式化輸出
    Serilog支持多種接收器用於日誌存儲，增強器用於添加屬性，LogContext管理動態屬性，支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項，適用於不同需求。 ...
  • 警惕 Visual Studio 屬性求值副作用導致邏輯不符合預期
    目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據，爬取信息時需要模擬瀏覽器行為，否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下： 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • [使用目前最新版]HybridCLR6.9.0+YooAsset2.2.4實現純C# Unity熱更新方案 (一)
    1.前言 什麼是熱更新 游戲或者軟體更新時，無需重新下載客戶端進行安裝，而是在應用程式啟動的情況下，在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR，Xlua，ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles，Addressable， ...
  • 在 ASP.NET Core Web API 中使用操作篩選器統一處理通用操作
    本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺，其實像阿裡雲，騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後，它會送 ...
  • 第28篇 如何.net中實現高效可靠數據同步api
    通過以下方式可以高效，並保證數據同步的可靠性 1.API設計 使用RESTful設計，確保API端點明確，並使用適當的HTTP方法（如POST用於創建，PUT用於更新）。 設計清晰的請求和響應模型，以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證，確保接收到的數據符合預期格 ...
所有分類