Hadoop 一二事(1) - 簡單介紹與雜談

来源:http://www.cnblogs.com/leechenxiang/archive/2016/04/23/5425804.html
-Advertisement-
Play Games

大數據大數據，身邊很多朋友都在談大數據，Big Data！！！ 到底是什麼，用來幹嘛的，也很少有人說得出一二，那今天開始就簡單說說這一二事吧 hadoop 的來源：是作者女兒的一個玩具 - 一隻黃色的大象 發音 /hadu:p/ 在Apache旗下作為一個開源項目 它不是雲計算，卻是雲計算中的一部分 ...


大數據大數據，身邊很多朋友都在談大數據，Big Data！！！

到底是什麼，用來幹嘛的，也很少有人說得出一二，那今天開始就簡單說說這一二事吧

hadoop 的來源：是作者女兒的一個玩具 - 一隻黃色的大象

發音 /hadu:p/  在Apache旗下作為一個開源項目 它不是雲計算，卻是雲計算中的一部分，屬於大數據這塊 hadoop是一個開源的分散式計算系統   hadoop所解決的問題：      海量數據存儲 - HDFS （分散式文件系統，分佈在多臺電腦上進行存儲）可以理解為一個大型的網盤，例如百度網盤，115網盤，可以進行上傳下載      海量數據分析 - MapReduce （分散式的計算模型）有多台機子進行數據的分析，例如原來工地有一個人搬磚，一次性搬100塊磚頭，後來分為100個人，每個人搬10塊，同時會有老大工頭監控這些小弟   hadoop擅長日誌分析   現在的淘寶使用Stome來進行實時推薦   凌晨分析後的產生有用的數據，分為冷數據和熱數據，冷數據存放在MyFox中（Mysql集群），熱數據存放在Prom中（HBase集群）   實時流數據處理使用Storm，可以用於購買商品時實時推送推薦商品 Hive可以用於附近認識的人，朋友圈你可能認識的人，校內網（從網，或者說人人網）中的推薦認識的好友   現在hadoop已經出到了2，但是很多公司還是會基於1.0版本，因為穩定，也省去了遷移的風險   生態圈，各種掉渣天高大上（非常喜歡zookeeper）   hadoop的安裝有2種 本地模式：使用eclipse進行調試，只有一個map，只有一個reduce 偽分散式：模擬多台機子，進行調試 集群模式：生產環境        
您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • iOS RESideMenu 側滑 第三方類庫
    下載地址：https://github.com/romaonthego/RESideMenu 效果如下：官方案例 自己的實現效果 具體代碼下： AppDelegate.m文件中 - (BOOL)application:(UIApplication *)application didFinishLau ...
  • [android] 手機衛士號碼歸屬地查詢完成
    正則表達式完成號碼驗證， ^以某開頭，[] 字元集（匹配中括弧裡面的任意字元），\d是任意一個數字，{n}表示出現了多少次，$結尾 手機號的正則 ^1[34568]\d{9}$，以1開頭，第二個數字是34568，剩下九個都是數字，數字結尾 調用String對象的match()方法，參數：正則（裡面的 ...
  • 第一個項目開始問題的總結
    1.在使用代碼中使用通知進行值的傳遞的時候，開闢了一個通知，最後記得移除這個通知，那樣的話這個通知一直存在，假如再運行相同的代碼的時候就會註冊2個通知中心，分別執行對應的事件方法，從而造成了資源的浪費。 （1）這時我發現在二級子控制項中有個有一個UINavigationButton，就是要更改的取消按 ...
  • iOS開發之---傳值大全
    通知/代理/block都可以傳值(順傳倒傳都可以)一 順傳 用屬性傳值最簡單明瞭二 逆傳 用block更簡潔三 通知傳值使用場景 1- 很多控制器都需要知道一個事件，應該用通知(傳遞參數的過程就是傳值)； 2 - 相隔多層的兩個控制器之間傳值————————————————————————————— ...
  • AFNetWorking https請求 SSL認證 自製證書
    1.伺服器會給一個證書，一般為.pem格式證書 2.將.pem格式的證書轉換成.cer格式的證書 打開電腦自帶終端 ,進入到桌面 cd Desktop 回車回到桌面Desktop Admin$ 輸入命令 openssl x509 -in 你的證書.crt -out 你的證書.cer -outform ...
  • Android深度探索與HAL驅動開發（捲1）-- 第一章隨筆
    本文主要從 Android版本與對應的linux內核版本關係 和 Android系統架構 兩部分來討論。 1、Android版本與Linux內核的關係 （1）Android最初使用Linux2.6作為其內核，隨著Android與Linux內核的發展，不同版本的Android使用的linux內核版本差 ...
  • postgresql
    ...
  • 對聚集表查詢的時候，未顯式指定排序列的時候，預設查詢結果的順序一定是按照聚集索引順序排序的嗎
    在sql server 中，如果一張表存在聚集索引的時候，大多數情況下，如果進行select * from TableName查詢，預設的返回順序是按照聚集所在列的順序返回的 但是，在一張表存在聚集索引的時候，並不一定所有的情況都是按照聚集索引列的順序排列的， 下麵開始測試 如下查詢完全沒有問題，正 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發（一）：使用.NET MAUI開發第一個安卓APP
    移動開發（一）：使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說，近來想嘗試開發一款安卓APP，考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP，畢竟是使用Visual Studio開發工具，使用起來也比較的順手，結合微軟官方的教程進行了安卓 ...
  • wpf ToggleButton選中效果和一個登錄界面
    前言 QuestPDF 是一個開源 .NET 庫，用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫，它徹底改變了我們生成 PDF 文檔的方 ...
  • 彈幕樹洞項目功能新增篇
    項目地址 項目後端地址： https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址： ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址： http://tree ...
  • 第27篇 sqlserver2022詳細安裝步驟
    話不多說，直接開乾 一.下載 1.官方鏈接下載： https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe，運行開始下載SQL server； 二. ...
  • .NET 開源高性能 MQTT 類庫
    前言 隨著物聯網（IoT）技術的迅猛發展，MQTT（消息隊列遙測傳輸）協議憑藉其輕量級和高效性，已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫，為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog文檔翻譯系列（六） - 可用的接收器、增強器、格式化輸出
    Serilog支持多種接收器用於日誌存儲，增強器用於添加屬性，LogContext管理動態屬性，支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項，適用於不同需求。 ...
  • 警惕 Visual Studio 屬性求值副作用導致邏輯不符合預期
    目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據，爬取信息時需要模擬瀏覽器行為，否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下： 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • [使用目前最新版]HybridCLR6.9.0+YooAsset2.2.4實現純C# Unity熱更新方案 (一)
    1.前言 什麼是熱更新 游戲或者軟體更新時，無需重新下載客戶端進行安裝，而是在應用程式啟動的情況下，在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR，Xlua，ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles，Addressable， ...
  • 在 ASP.NET Core Web API 中使用操作篩選器統一處理通用操作
    本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺，其實像阿裡雲，騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後，它會送 ...
  • 第28篇 如何.net中實現高效可靠數據同步api
    通過以下方式可以高效，並保證數據同步的可靠性 1.API設計 使用RESTful設計，確保API端點明確，並使用適當的HTTP方法（如POST用於創建，PUT用於更新）。 設計清晰的請求和響應模型，以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證，確保接收到的數據符合預期格 ...
所有分類