hadoop和spark的區別

来源:https://www.cnblogs.com/yuming226/archive/2017/12/26/8117553.html
-Advertisement-
Play Games

hadoop是基於磁碟的,它的運算結果保存在磁碟當中;而spark的運算是基於記憶體的。因此spark的運算速度是 hadoop的100倍;即使在磁碟當中運算,spark也是hadoop的10倍左右,原因就是spark具有優秀的作業調度策略。 故spark的速度快與hadoop的兩個原因: (1)sp ...


hadoop是基於磁碟的,它的運算結果保存在磁碟當中;而spark的運算是基於記憶體的。因此spark的運算速度是

hadoop的100倍;即使在磁碟當中運算,spark也是hadoop的10倍左右,原因就是spark具有優秀的作業調度策略。

故spark的速度快與hadoop的兩個原因:

(1)spark是基於記憶體,hadoop基於磁碟:

 

在hadoop中HDFS用於數據的存儲,MapReduce用於計算。 MapReduce:從磁碟中讀取文件->把迭代結果存儲到磁碟中->再從磁碟中讀取文件->.................. Spark:從磁碟中讀取文件->把迭代後的結果存儲到記憶體當中->再從記憶體中讀取數據->.................. Spark的計算速度是hadoop的100倍,即使再磁碟中操作數據也是hadoop的10倍。

(2)spark具有優秀的作業調度策略(使用了有向無環圖,關於這部分會在RDD學習模塊中介紹)。


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 一、yum 簡介 yum,是Yellow dog Updater, Modified 的簡稱,是杜克大學為了提高RPM 軟體包安裝性而開發的一種軟體包管理器。起初是由yellow dog 這一發行版的開發者Terra Soft 研發,用python 寫成,那時還叫做yup(yellow dog up ...
  • http://hadoop.apache.org/docs/r2.9.0/hadoop-project-dist/hadoop-hdfs/HDFSHighAvailabilityWithQJM.html 背景 在Hadoop 2.0.0以前,在一個HDFS集群中NameNode存在單點故障。每個集群 ...
  • http://hadoop.apache.org/docs/r2.9.0/hadoop-project-dist/hadoop-hdfs/Federation.html Background HDFS有兩個主要的層: Namespace 由目錄、文件和塊組成 它支持所有的文件系統命名空間操作,比如, ...
  • 這邊將日誌信息記入資料庫時,發現資料庫日誌具體時間丟失,只保留了日期。 我這邊環境是(SRPINGMVC+Mybatis,mysql版本5.6.28以上),java層使用類型為java.util.Date,數據欄位類型為date 參考了一些網上的說法,基本描述是說: date:只有日期,沒有時間,2 ...
  • 需要查兩個表之間的差集 首先,想到的是主鍵直接not in 好吧!這個是可以,但是數據多了的話,想到這個查詢的邏輯有點受不住 於是再改為下麵的這樣: 利用了left join的,然後進行對比,並且利用where進行篩選。 後面也在網上找了這條: 概念上與第二條同理。 好吧! 回顧了一下left jo ...
  • Redis概述 Redis是一種key-value型資料庫,運行於記憶體中,與它相似的資料庫有memcached,現在基本被Redis替代。 Redis適用場景 我們要與傳統的關係型資料庫進行對比才能更好的瞭解與使用Redis 1.高併發場景, redis是個單線程的程式對於純記憶體操作如hash查找可 ...
  • 學習目標: -使用ROLLUP操作符產生小計值 -使用CUBE操作符產生交叉製表 -使用GROUPING函數來標識ROLLUP或CUBE運算符生成的結果集中的聚合級別 -使用GROUPING SETS生成一個相當於UNION ALL方法的結果集 ROLLUP操作符 SELECT [column,] ...
  • (本人初次接觸spark可能有些地方理解的不夠到位,希望各位讀者多多指正,對於不恰當的地方也會進行改進) 1、RDD定義:是彈性分散式數據集,是分佈到各個節點的數據集合,具有自動容錯性、位置感知調度和可伸縮性等。 2、RDD的特性: 2.1 分區(partition) 分區是RDD的基本組成單位(s ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...