谷歌 MapReduce 初探

来源:https://www.cnblogs.com/socoool/archive/2020/04/04/12629753.html
-Advertisement-
Play Games

谷歌“三駕馬車”的出現,才真正把我們帶入了大數據時代,畢竟沒有谷歌,就沒有大數據。 上次的分享,我們對谷歌的其中一駕寶車 GFS 進行了管中窺豹,雖然只見得其中一斑,但是也能清楚的知道 GFS 能夠把大量廉價的普通機器,聚在一起,充分讓每台廉價的機器發揮光和熱,不但降低了運營成本,而且解決了一個業界 ...


谷歌“三駕馬車”的出現,才真正把我們帶入了大數據時代,畢竟沒有谷歌,就沒有大數據。

上次的分享,我們對谷歌的其中一駕寶車 GFS 進行了管中窺豹,雖然只見得其中一斑,但是也能清楚的知道 GFS 能夠把大量廉價的普通機器,聚在一起,充分讓每台廉價的機器發揮光和熱,不但降低了運營成本,而且解決了一個業界數據存儲的難題。

雖然 GFS 解決了 Google 海量數據的存儲的難題,但是隨之而來的就是“如何從海量數據中快速計算並得到結果的難題”,面對這個難題,誰痛誰想辦法,Google 再次進行技術創新,重磅推出另一篇論文《MapReduce: Simplified Data Processing on Large Clusters》,接下來就一起認識認識 MapReduce。

認識

到底是個啥?說白了,MapReduce 其實就是一個為了簡化海量數據處理而提出的編程模型。

主要思想:分而治之,將一個大規模的問題,分成多個小規模的問題,把多個小規模問題解決,然後再合併小規模問題的解,就能夠解決大規模的問題。

編程模型:我們只需要通過編寫 Map 函數Reduce 函數來指定想要進行的計算,而不用花心思去糾結背後複雜的容錯、數據分發、負載均衡等等一系列技術細節問題MapReduce 所執行的分散式計算會以一組鍵值對作為輸入,輸出另一組鍵值對。

怎麼想的?原來是受 Lisp 以及其它一些函數式編程語言中的 map 和 reduce 原語影響而來的(如果你閑著無聊,再去瞭解 Lisp 也不遲)。

疑惑

百思要求解。說了這麼多,感覺還是一無所知,顯然是一塊硬骨頭,其實在腦海中早已蕩起千層疑問的波。

Map 函數是啥?Reduce 函數又是啥?

接下來我們一起慢慢去體會。

統計大量文檔中每一個單詞出現的次數,這也是大數據技術入門的經典案例“WordCount”,此時需要我們編寫類似上面的偽代碼。

簡單剖析這段偽代碼,希望對 Map、Reduce 函數有一個深入的認識。

剖析 1:要統計文檔每個單詞出現的次數,顧名思義 map 函數入參 key 是文件名,value 是文檔的內容,接下來逐個遍歷單詞,每遇到一個單詞 w,就輸出一個中間結果(w, "1")。

剖析 2:reduce 函數入參 key 就是單詞 w,值是一串“1”,然後將這些“1”累加就得到單詞 w 的出現次數。

剖析 3:最後把文檔中單詞的出現次數,輸出到用戶定義的位置,例如存儲到分散式存儲系統 GFS 上。

好了,大數據入門經典案例“WordCount”的偽代碼,到這就剖析個八九不離十,雖然懵懂了不少,但是還是萌生了一些猜想和疑問。

 

懵懂:Map 函數是啥?Reduce 函數是啥?

Map函數:處理一個基於 key/value 鍵值對的數據集合,同時也輸出基於 key/value 的數據集合;

Reduce函數:用來合併 Map 函數輸出的 key/value 數據集合。

論文中說了,上面偽代碼中輸入輸出雖然都是字元串類型的,但事實上,Map 和 Reduce 函數都是有相應類型的。

  • map     (k1, v1)      -> list(k2, v2)

  • reduce   (k2, list(v2))  -> list(v2)

猜想:map、reduce 函數中間感覺又觸發了“針對同一個單詞的 value 的組合(也就是把相同單詞出現的次數,串在一起)”,不然 reduce 函數怎麼能接收到 values(每個單詞對應的出現次數的一串“1”)。

騎驢看劇本,咱們還是走著瞧唄。

疑問1:map 產生的中間鍵值對,是放到記憶體、本地磁碟還是放到了 GFS 上存儲?

這個問題也是騎驢看劇本,咱們還是走著瞧唄(貌似用錯了語境,別介意,哈哈)。

疑問2:我們寫好了 Map 函數和 Reduce 函數,怎麼就跑到了多台機器上呢?

欲知後事如何,咱們還是且聽下回分解。

 

 


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • Shell腳本殺掉除自己外的舊進程 在寫後臺Shell腳本的時候,這是比較常見的一個需求。比如之前運行了一個叫做a.sh的腳本在後臺運行,後來更新了a.sh腳本想重新運行,但卻不想手動殺掉已經存在的後臺a.sh進程。 命令其實非常簡單: 其中 是篩選出除腳本自己之外的舊進程的PID。 這裡的 做了些 ...
  • Oracle的存儲結構分為:物理存儲結構和邏輯存儲結構。 一、物理存儲結構:指硬碟上存在的文件 數據文件(data file) 一個資料庫可以由多個數據文件組成的,數據文件是真正存放資料庫數據的。一個數據文件就是一個操作系統文件。資料庫的對象(表和索引)物理上是被存放在數據文件中的。當我們要查詢一個 ...
  • 在做開發過程中經常會接觸資料庫索引,不只是DBA才需要知道索引知識,瞭解索引可以讓我們寫出更高質量代碼。簡單介紹索引的概述,聚集索引,非聚集索引,唯一索引,複合索引,篩選索引使用及註意事項 ...
  • 一、 資料庫的分類 1、SQL Server 資料庫 2、Oracle 資料庫 3、mysql 資料庫 4、DB2 5、informix 以上是比較流行的資料庫,這裡沒有一一介紹,而是展示出來以便瞭解。 二、MySQL資料庫的安裝和配置 1、如果你已經安裝了mysql ,先要卸載,再安裝。 2、先停 ...
  • 一、什麼是Presto? 背景知識:Hive的缺點和Presto的背景 Hive使用MapReduce作為底層計算框架,是專為批處理設計的。但隨著數據越來越多,使用Hive進行一個簡單的數據查詢可能要花費幾分到幾小時,顯然不能滿足互動式查詢的需求。Presto是一個分散式SQL查詢引擎,它被設計為用 ...
  • 今天一位跨界老碼農不知咋回事,興奮過了頭,一不小心把資料庫給刪掉啦,然後問我咋恢復,然後我告訴他基於 binlog 可以恢復,誰成想沒有開啟 binlog,最後只能躲在角落裡傷心。 愛情 36 技系列,好久沒更新啦,真是苦了追逐愛情系列的那些朋友們。 好了,請忘記上面的一切,因為我們的愛情故事系列又 ...
  • 谷歌“三駕馬車”的出現,才真正把我們帶入了大數據時代,並指明瞭大數據的發展方向。 GFS 作為其中一駕寶車,解決了大數據存儲的難題。它能夠把大量廉價的普通機器,聚在一起,充分讓每台廉價的機器發揮光和熱。其中在《從谷歌 GFS 架構設計聊開去》中我們針對 GFS 進行了管中窺豹,體會到其中一斑,不得不 ...
  • 在《谷歌 MapReduce 初探》中,我們通過統計詞頻的 WordCount 經典案例,對 Google 推出的 MapReduce 編程模型有了一個認識,但是那種認識,還只是停留在知道有那麼個模型存在,並沒有認識到骨子裡。而且上次初探,也遺留了很多猜想和疑問,這次不妨讓我們深入去認識一下 Map ...
一周排行
    -Advertisement-
    Play Games
  • Timer是什麼 Timer 是一種用於創建定期粒度行為的機制。 與標準的 .NET System.Threading.Timer 類相似,Orleans 的 Timer 允許在一段時間後執行特定的操作,或者在特定的時間間隔內重覆執行操作。 它在分散式系統中具有重要作用,特別是在處理需要周期性執行的 ...
  • 前言 相信很多做WPF開發的小伙伴都遇到過表格類的需求,雖然現有的Grid控制項也能實現,但是使用起來的體驗感並不好,比如要實現一個Excel中的表格效果,估計你能想到的第一個方法就是套Border控制項,用這種方法你需要控制每個Border的邊框,並且在一堆Bordr中找到Grid.Row,Grid. ...
  • .NET C#程式啟動閃退,目錄導致的問題 這是第2次踩這個坑了,很小的編程細節,容易忽略,所以寫個博客,分享給大家。 1.第一次坑:是windows 系統把程式運行成服務,找不到配置文件,原因是以服務運行它的工作目錄是在C:\Windows\System32 2.本次坑:WPF桌面程式通過註冊表設 ...
  • 在分散式系統中,數據的持久化是至關重要的一環。 Orleans 7 引入了強大的持久化功能,使得在分散式環境下管理數據變得更加輕鬆和可靠。 本文將介紹什麼是 Orleans 7 的持久化,如何設置它以及相應的代碼示例。 什麼是 Orleans 7 的持久化? Orleans 7 的持久化是指將 Or ...
  • 前言 .NET Feature Management 是一個用於管理應用程式功能的庫,它可以幫助開發人員在應用程式中輕鬆地添加、移除和管理功能。使用 Feature Management,開發人員可以根據不同用戶、環境或其他條件來動態地控制應用程式中的功能。這使得開發人員可以更靈活地管理應用程式的功 ...
  • 在 WPF 應用程式中,拖放操作是實現用戶交互的重要組成部分。通過拖放操作,用戶可以輕鬆地將數據從一個位置移動到另一個位置,或者將控制項從一個容器移動到另一個容器。然而,WPF 中預設的拖放操作可能並不是那麼好用。為瞭解決這個問題,我們可以自定義一個 Panel 來實現更簡單的拖拽操作。 自定義 Pa ...
  • 在實際使用中,由於涉及到不同編程語言之間互相調用,導致C++ 中的OpenCV與C#中的OpenCvSharp 圖像數據在不同編程語言之間難以有效傳遞。在本文中我們將結合OpenCvSharp源碼實現原理,探究兩種數據之間的通信方式。 ...
  • 一、前言 這是一篇搭建許可權管理系統的系列文章。 隨著網路的發展,信息安全對應任何企業來說都越發的重要,而本系列文章將和大家一起一步一步搭建一個全新的許可權管理系統。 說明:由於搭建一個全新的項目過於繁瑣,所有作者將挑選核心代碼和核心思路進行分享。 二、技術選擇 三、開始設計 1、自主搭建vue前端和. ...
  • Csharper中的表達式樹 這節課來瞭解一下表示式樹是什麼? 在C#中,表達式樹是一種數據結構,它可以表示一些代碼塊,如Lambda表達式或查詢表達式。表達式樹使你能夠查看和操作數據,就像你可以查看和操作代碼一樣。它們通常用於創建動態查詢和解析表達式。 一、認識表達式樹 為什麼要這樣說?它和委托有 ...
  • 在使用Django等框架來操作MySQL時,實際上底層還是通過Python來操作的,首先需要安裝一個驅動程式,在Python3中,驅動程式有多種選擇,比如有pymysql以及mysqlclient等。使用pip命令安裝mysqlclient失敗應如何解決? 安裝的python版本說明 機器同時安裝了 ...