年薪百萬的大數據開發工程師的入門書單(收藏)

来源:https://www.cnblogs.com/fenghuo9527/archive/2018/07/21/9347380.html
-Advertisement-
Play Games

你們是不是都聽過一句話:谷歌比你自己更瞭解你 事實上,這句話並不是毫無根據,我們周邊的一切無不體現數據的重要性,你想想,我們對自己的看法會受到多種主觀和客觀的因素影響,但谷歌卻沒有這些限制,而且掌握你所有的客觀數據,而這些龐大的數據來源則得益於智能手機、網購記錄、健身追蹤器等 大數據開發工程師是... ...


前言

你們是不是都聽過一句話:谷歌比你自己更瞭解你

事實上,這句話並不是毫無根據,我們周邊的一切無不體現數據的重要性,你想想,我們對自己的看法會受到多種主觀和客觀的因素影響,但谷歌卻沒有這些限制,而且掌握你所有的客觀數據,而這些龐大的數據來源則得益於智能手機、網購記錄、健身追蹤器等

大數據開發工程師是當今技術行業中最受歡迎的工作之一。事實上,如今這些專家供不應求,如果你打算在大數據領域開展職業生涯,不妨先看看這些書,在本文中,我羅列了雲計算、大數據、Hadoop和Apache Spark的最佳書籍,希望對大家有幫助

雲計算

1、《讓雲落地》

 

本書很適合正在糾結如何選擇雲服務的信息化從業人員,有意避開了那些與產品或供應商相關的細節,側重於架構師及架構涉及各方應當解決的各種挑戰,通過對具體問題的分析和案例講解,向讀者提供了大量可供參考的設計決策,並對所有雲架構中都必須應對的重點領域進行了強調說明。

不過,本書仍停留在理論和理念操作層面,在工程操作層面缺少模型以及度量機制,對業務選型的操作層面缺少指導性建議。

2、《雲計算與分散式系統:從並行處理到物聯網》

本書是一本完整講述雲計算與分散式系統基本理論及其應用的教材。適合完全不瞭解雲計算的人,書中從現代分散式模型概述開始,介紹了並行、分散式與雲計算系統的設計原理、系統體繫結構和創新應用,並通過開源應用和商業應用例子,闡述瞭如何為科研、電子商務、社會網路和超級計算等創建高性能、可擴展的、可靠的系統。

 

3、《雲計算:概念、技術與架構》

 

雲計算的基礎讀物,圖文並茂,對雲計算的概念解釋的很清楚,是一本很好的入門讀物。涉及雲計算領域的各個方面,涵蓋了很多基本概念,共包含五個部分,第一部分到第四部分主要涵蓋了雲計算基礎、雲電腦制、雲計算架構以及雲計算使用等內容,第五部分即附錄給出了案例研究結論。

大數據架構

4、《大數據架構商業之路:從業務需求到技術方案》

 

本書通過一個虛擬的互聯網O2O創業故事,來逐步展開介紹創業各個階段可能遇到的大數據課題、業務需求,以及相對應的技術方案,甚至是實踐解析;讓讀者身臨其境,一起來探尋大數據的奧秘。對於各個技術點講解很想詳細,內容很豐富,可以對大數據的架構和業務有一個全面的瞭解,適合技術管理人員和架構師

5、《大數據之路:阿裡巴巴大數據實踐》

 

阿裡多年的技術積累的產出,而且由阿裡技術大牛撰寫,本書分為四個部分,數據技術篇、數據模型篇、數據管理篇、數據應用篇,是阿裡巴巴分享對大數據的認知,與生態伙伴共創數據智能的重要基石。相信能對讀者有很大的啟發

6、《大數據架構師指南》

 

本書用通俗易懂的語言將一些高大上的理論知識講解的非常透徹,並且還配有具體的例子講解,旨在幫助讀者在最短的時間內,系統地把握大數據相關的技術框架,建立系統架構級別的技術思考能力與原則。通過閱讀本書,您將可以迅速建立大數據技術架構相關的知識與脈絡。

7、《架構真經》

 

本書給出了一系列規則,每個規則圍繞著不同的主題展開討論。大部分的規則聚焦在技術上,少數規則涉及一些關鍵的思維或流程問題,每個規則對構建可擴展的產品都是至關重要的,這些規則在深度和焦點上都有所不同。

8、《企業IT架構轉型之道》

 

又一本阿裡巴巴出品的書,本書從阿裡巴巴啟動中台戰略說起,詳細闡述了共用服務理念給企業業務發展帶來的業務價值。接著會分享阿裡巴巴在建設共用服務體系時如何進行技術框架的選擇,哪些重要的技術平臺支撐起了共用服務體系,這也是迄今為止對阿裡巴巴集團中間件體系對外最全面系統的介紹。

Hadoop

9、《Hadoop權威指南》

 

Apache Hadoop是一個用Java語言實現的軟體框架,,是Google的重要基石。本書內容豐富,展示瞭如何使用Hadoop構建可靠、可伸縮的分散式系統,程式員可從中探索如何分析海量數據集,管理員可以瞭解如何建立與運行Hadoop集群。.

10、《Hadoop實戰》

 

分為3個部分,深入淺出地介紹了Hadoop框架、編寫和運行Hadoop數據處理程式所需的實踐技能及Hadoop之外更大的生態系統。適合需要處理大量離線數據的雲計算程式員、架構師和項目經理。

11、《Hadoop技術內幕》

 

“Hadoop技術內幕”共兩冊,分別從源代碼的角度對“Common+HDFS”和“MapReduce的架構設計和實現原理”進行了極為詳細的分析。

首先介紹了MapReduce的設計理念和編程模型,然後從源代碼的角度深入分析了RPC框架、客戶端、JobTracker、TaskTracker和Task等MapReduce運行時環境的架構設計與實現原理,最後從實際應用的角度深入講解了Hadoop的性能優化、安全機制、多用戶作業調度器和下一代MapReduce框架等高級主題和內容。

Spark

12、《Spark大數據處理——技術、應用與性能優化》

 

作為一個基於記憶體計算的大數據並行計算框架,Spark不僅很好地解決了數據的實時處理問題,而且保證了高容錯性和高可伸縮性。本書系統、全面、詳細講解Spark的各項功能使用、原理機制、技術細節、應用方法、性能優化,以及BDAS生態系統的相關技術。

13、《深入理解Spark核心思想與源碼分析》

 

本書結合大量圖和示例,對Spark的架構、部署模式和工作模塊的設計理念、實現源碼與使用技巧進行了深入的剖析與解讀。前面章節總結概括基本搭建和原理架構等,後面章節從SparkContext,BlockManager, Memstore以及上層的任務提交,RDD模式等模塊的開發和實踐進行講解,介紹的比較具體。

14、《圖解Spark:核心技術與案例實戰》

 

以Spark 2.0 版本為基礎進行編寫,全面介紹了Spark 核心及其生態圈組件技術。主要內容包括Spark 生態圈、實戰環境搭建、編程模型和內部重要模塊的分析,重點介紹了消息通信框架、作業調度、容錯執行、監控管理、存儲管理以及運行框架,同時還介紹了Spark 生態圈相關組件。

15、《Spark快速大數據分析》

 

本書由 Spark 開發者及核心成員共同打造,講解了網路大數據時代應運而生的、能高效迅捷地分析處理數據的工具——Spark,它帶領讀者快速掌握用 Spark 收集、計算、簡化和保存海量數據的方法,學會交互、迭代和增量式分析,解決分區、數據本地化和自定義序列化等問題。


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • mkdir用來創建具有指定名稱的目錄,該目錄不能已存在,且當前用戶對工作目錄具有寫許可權 1、用法: mkdir [選項] [目錄..] 2、選項 -m: --mode=模式,為目錄指定訪問許可權,與chmod類似-p: --parents 當目錄的父級目錄不存在時,創建父級目錄,該選項常用於創建級聯目 ...
  • 前言:該文章是基於 Hadoop2.7.6_01_部署 進行的。 1. Hive基本概念 1.1. 什麼是Hive Hive是基於Hadoop的一個數據倉庫工具,可以將結構化的數據文件映射為一張資料庫表,並提供類SQL查詢功能。 1.2. 為什麼使用Hive 直接使用hadoop所面臨的問題 人員學 ...
  • CMD下進入MYSQL的命令 mysql -h localhost -u root -p 切到MYSQL的bin目錄下,輸入上面命令,回車 然後輸入密碼 回車 ...
  • 最近下載新的MySQL8.0 來使用的時候, 通過sqlyog、或者程式中連接資料庫時,提示:Authentication plugin 'caching_sha2_password' cannot be loaded 的錯誤,經查看發現,8.0改變了 身份驗證插件 , 打開 my.ini (或者m ...
  • mysql的字元集和字元序: 字元序:字元序(Collation)是指在同一字元集內字元之間的比較規則 一個字元序唯一對應一種字元集,但一個字元集可以對應多種字元序,其中有一個是預設字元序(Default Collation) mysql的字元集和字元序有四個級別的預設設置:伺服器級,資料庫級,數據 ...
  • 1、事務(Transaction): 事務是將一系列數據操作綁成一個整體進行統一管理。 如果一事務執行成功,則咋子該事務中進行的所有數據更改均會提交,稱為資料庫中的永久成部分。 如果事務執行是遇到錯誤且必須取消或回滾,則數據將全部恢復到操作前的狀態,所有數據的更改均被清除。 定義: 事務是一種機制、 ...
  • 1、 修改表: (1)修改表名語法: ALTER TABLE <舊表名> RENAME [ TO ] <新表名>; 註意:其中[TO]為可選參數,使用與否不影響結果,僅修改表名,表結構不變; (2)添加欄位語法: ALTER TABLE 表名 ADD 欄位名 數據類型 [屬性]; (3)修改欄位語法 ...
  • 前言 金三銀四,金三已經過去,到了銀四,根據統計,很多人都會選擇在7月8月跳槽,原因有很多,企業年後會有大量員工離職,員工覺得老公司待遇不怎麼樣?薪資不夠高,想換個新環境等等原因,所以,7月份就變成了招聘與跳槽的旺季 前面一段時間給公司面試了10個大數據開發的人,自己總結了50道面試題,在此,我分享 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...