大數據思考

来源:https://www.cnblogs.com/hengly/archive/2019/07/07/11147425.html
-Advertisement-
Play Games

1.前言 記得從上大學的時候就已經聽說過這個詞語 以前的理解可能就是數據量超大很多嘛 到這幾年大數據這個詞語被人們談論得也越來越頻繁 也越來越想瞭解它的所以自己才會去學習 我覺得做任何事之前肯定有某種驅使你去瞭解它的過程 以下僅是自己個人的理解 2.什麼是大數據? 大數據不僅是數據量大 （G,TB, ...


1.前言

       記得從上大學的時候就已經聽說過這個詞語 以前的理解可能就是數據量超大很多嘛 到這幾年大數據這個詞語被人們談論得也越來越頻繁 也越來越想瞭解它的所以自己才會去學習 我覺得做任何事之前肯定有某種驅使你去瞭解它的過程 以下僅是自己個人的理解

2.什麼是大數據?

       大數據不僅是數據量大 （G,TB,PB.....）達到甚至更大 ，試想一下我給你一個數據量達到TB級別的數據 但是裡面的數據都是一些你看不懂或者沒有什麼可用的信息的 那它也不過是一個數據量很大的文件而已(僅此而已沒有什麼可以提供的價值信息) ，所以說大數據不僅是擁有海量的數據而且是多維度的(能夠獲取到很多有價值的信息)我們經常會把數據存放到硬碟 硬碟大嘛可以存放幾百G的容量 但是我們的大數據就不行了 因為大數據的數據量是龐大的是你都無法想象的(有時候會在腦海裡想想 全世界有接近70多億的人口說全世界可能範圍太大 就單單一個中國13億人每天產生的數據量就大的驚人)這麼大的數據量怎麼可能去存放到硬碟里呢(在多弄幾臺電腦不就行了 幾台不行在搞個幾十臺當初就是這麼想的) 這時候我們的大數據就派上用場了 

      大數據的核心是解決海量數據 場景下的數據存儲加運算問題(拿到數據後肯定會進行一些計算然後提取到我們所需要的信息) 而海量數據 場景下的數據存儲加運算問題的核心又是分散式技術

       我們經常會上網購物 淘寶天貓京東呀 每次只要搜索的時候一件物品(比如電腦)那麼下次再進來的時候你就會發現很多有關電腦的購物信息 當我選擇一件物品進入到購物車 就會立即跟我推薦很多跟我購物車相關的物品  以前可能回想這是怎麼回事 為什麼不推薦其他的物品呢 現在可能有了一些些瞭解

      首先當我們訪問一個頁面的時候 例如京東的網站    每當我們在瀏覽一個頁面點擊每一件商品的時候 會像服務端server發送很多信息 (商品標題 ip地址 用戶id.......)都會發到server 服務端收到信息之後 就會把這些信息獲取到然後保存到硬碟中 相當一個日誌吧 每天都會存放一些信息 並且會不斷的更新數據會越來越大必須做一些處理 那麼問題也就來了

 Q1:試想以下像京東天貓每天同時瀏覽人數沒有上億也有好幾千萬的訪問量 ，假如一個人訪問數據量為幾k 一天總共請求的數據也有百g了 如果一個月 一年 那麼數據就會越來越大那麼它的數據又是如何保存的呢？

      如果用硬碟存放肯定不現實 而京東(不止是京東 天貓 谷歌 阿裡)也是運用了分散式文件存儲系統(HDFS) 將數據存放到多台伺服器上面 然後進行數據操作

  

3.接下來談談對HDFS的理解 不禁會有這麼幾個問題

1.HDFS是做什麼的？

 HDFS分散式計算中數據存儲管理的基礎 是用來存儲超大數據文件的系統

2.HDFS有什麼優點為什麼這麼多公司會用？

 （1）高容錯性 

    數據自動保存多個副本 當一個副本丟失會自動恢復

   (2)適合大數據處理

      1) 數據規模：能夠處理數據規模達到 GB、TB、甚至PB級別的數據。

      2) 文件規模：能夠處理百萬規模以上的文件數量，數量相當之大。

   (3) 流式數據訪問

     1) 一次寫入，多次讀取，不能修改，只能追加。

     2) 它能保證數據的一致性。

   (4) 可構建在廉價機器上

     1) 它通過多副本機制，提高可靠性。

     2) 它提供了容錯和恢復機制。比如某一個副本丟失，可以通過其它副本來恢復。

   (5) 適合批處理

     1) 它是通過移動計算而不是移動數據。

     2) 它會把數據位置暴露給計算框架。

 3.HDFS如何存儲數據?

     (1) 我們要想知道HDFS如何存儲數據 就必須先瞭解到HDFS Client、NameNode、DataNode和Secondary NameNode
         1) HDFS Cilent   hdfs客戶端

         文件上傳到HDFS的時候 會將文件進行分塊 然後再進行存儲

         與NameNode交互 獲取到文件的位置信息 NameNode管理DataNode 應該將文件存儲到哪個節點

         與DataNode交互 存儲獲讀取數據

         Client 提供一些命令來管理 HDFS，比如啟動或者關閉HDFS。

          2)NameNode 

           處理客戶端的請求 

           管理數據塊的信息

           管理DataNode

         3)DataNode

            是真正幹事的節點 它負責存儲數據

        4)Secondary NameNode

          輔助 NameNode，分擔其工作量(有點像秘書的角色) 但是當NameNode掛掉的時候 它並不能馬上替換 NameNode 並提供服務

          定期合併 fsimage和fsedits，並推送給NameNode。

 4. 接下來來談談HDFS的存儲過程 

1 當客戶端發送一個請求說有一個文件需要存儲(gfvadio.avi) 

2.NameNode會接收到這個請求 並且會在虛擬目錄樹下麵找是否有這個文件 如果有就響應可以傳輸  

3.然後客戶端就會去傳輸數據(並且會分塊傳輸 預設是128M是一塊 而我要傳輸的文件是200M 它會分為兩塊去傳) 並且會保存三份副本 以免數據丟失

4.NameNode通知客戶端可以將數據傳到 DN1 DN2 DN4 並且會給它分配一個全局唯一的blk_id 

5.客戶端收到消息後就會將文件傳到DN1 DN2 DN4 第一塊傳輸完成

6.客戶端請求傳輸文件的第二塊 並且也保存三份 接著NameNode通知可以將文件傳到DN2 DN3 DN4 並且會分配給它一個佈局唯一的blk_id2

7.客戶端收到消息後傳輸文件到DN2 DN3 DN4 存儲完成

至於為什麼HDFS會這麼存儲數據 肯定是有它的道理的 接下來這幾個問題問題也許可以解決這個疑問

     Q2:如果多個客戶端傳輸同一個文件名 可能造成什麼後果？

           之前的數據肯定會被覆蓋 數據丟失 正是因為這個原因所以在傳輸文件的時候NameNode會分配一個全局唯一的編號

     Q3：如果客戶端傳輸一個超大文件100G會發生什麼？

         100G的數據讀起來肯定非常慢 所以會分塊 每個機器讀取不同的塊 可以大大增加讀取效率

     Q4：傳輸數據的時候數據存儲伺服器掛掉(如果DN1，DN2 )了會發生什麼?

          這裡就可以解決為什麼會備份副本 傳輸文件的時候會備份多份 這樣可以防止某台伺服器突然掛掉 數據出現丟失的情況

  

5.HDFS讀取數據的過程

  1.客戶端發送請求讀取數據

  2.NameNode會在元數據中查找是否存在這個文件 如果存在 然後就會通知客戶端blk_id在DN1 blk_id2在DN2

  3.客戶端然後再去DN1中取第一塊數據 取完之後再在DN2中取第二塊

先前總是想著寫的 總是沒有足夠的時間 今天花了一個上午終於寫完了 以上僅是自己的理解 如果有什麼不對的歡迎指正 小弟不勝感激

 


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • docker遇到防火牆報錯問題解決方法
    -- 報錯信息[root@localhost docker]# docker run -d -p 5000:5000 training/webapp python app.pycc61442060cb810633a06bd6ea692a3df6b0bfcadc6a7dadfe53bf875f1ac3 ...
  • Linux環境常用命令
    Linux環境工作常用命令 cd / 進入根目錄 mkdir dirName 創建文件夾 touch fileName 創建一個空文件 vi/vim fileName 編輯一個文件，如果文件不存在，則會新建該文件 mv fileName/dirName 剪切/修改 文件或者文件夾的名稱 cp r s ...
  • java.sql.SQLException: Incorrect string value: '\xF0\x9F\x98\x8E' for column 'name' at row 1
    我的錯誤案例： ，這個後臺插不進去，就姓名那欄的中文編碼問題。 遇到這個錯誤，應該是創建表的時候沒有設置好編碼，這個錯誤不用多想，我也試過在更改表那裡設置編碼，但還是不行，還是有殘留 直接drop table ’table_name‘，把整個表刪除了再重新建，例子如下： CREATE TABLE t ...
  • 3.kafka 基本配置
    1.主題管理 kafka-topics.sh工具腳本用於對主題操作，如創建、刪除、修改、分區數、副本數及主題級別的配置。 1.1創建名為kafka-test主題，有2個副本，3個分區 [hadoop@h201 kafka_2.12-0.10.2.1]$ bin/kafka-topics.sh --c ...
  • Oracle基礎學習筆記
    Oracle基礎學習筆記 最近找到一份實習工作，有點頭疼的是，有階段性考核，這...，實際想想看，大學期間只學過資料庫原理，並沒有針對某一資料庫管理系統而系統的學習，這正好是一個機會，於是乎用了三天時間學習了一下Oracle數據的相關內容，以下是我總結的一些知識點，有錯誤的地方請及時通知我改正。 一 ...
  • 關於mysql的使用命令（持續更新中...）
    特別提示 本說明中的mysql 是基於windwos平臺下的5.5 版本 安裝完成後 請到mysql中設置配置文件 鏈接分享：鏈接：https://pan.baidu.com/s/1tv4ulZW1iUVl0ukn5WtV6w 提取碼：rso9 （永久有效） 本篇教程的主要目的為 好記性不如爛筆頭 ...
  • mysql 表的完整性約束
    mysql 表的完整性約束 [TOC] 約束概念 unsigned 設置某一個數字無符號 (整數類型 ,浮點類型不能是unsigned的) not null 某一個欄位不能為空（嚴格模式會影響非空設置的效果） default 給某個欄位設置預設值(設置預設值) unique 設置某一個欄位不能重覆 ...
  • mysql 支持的數據類型
    mysql支持的數據類型 [TOC] 數據類型官方文檔 數值類型 數值類型表 | 類型 | 大小 | 範圍(有符號) | 範圍(無符號)unsigned約束 | 用途 | | | | | | | | TINYINT | 1位元組 | ( 128,127) | (0,255) | 小整數值 | | SM ...
一周排行
    -Advertisement-
    Play Games
  • WPF 已知問題 監聽 WMI 事件導致觸摸失效
    示例項目結構 在 Visual Studio 中創建一個 WinForms 應用程式後，項目結構如下所示： MyWinFormsApp/ │ ├───Properties/ │ └───Settings.settings │ ├───bin/ │ ├───Debug/ │ └───Release/ ...
  • [STAThread]特性
    [STAThread] 特性用於需要與 COM 組件交互的應用程式，尤其是依賴單線程模型（如 Windows Forms 應用程式）的組件。在 STA 模式下，線程擁有自己的消息迴圈，這對於處理用戶界面和某些 COM 組件是必要的。 [STAThread] static void Main(stri ...
  • UWP WinUI3 傳入 AddHandler 的 RoutedEventHandler 類型與事件所需不匹配將拋出參數異常
    在WinForm中使用全局異常捕獲處理 在WinForm應用程式中，全局異常捕獲是確保程式穩定性的關鍵。通過在Program類的Main方法中設置全局異常處理，可以有效地捕獲並處理未預見的異常，從而避免程式崩潰。 註冊全局異常事件 [STAThread] static void Main() { / ...
  • .NET 多版本 WinForm 開源控制項庫 SunnyUI
    前言 給大家推薦一款開源的 Winform 控制項庫，可以幫助我們開發更加美觀、漂亮的 WinForm 界面。 項目介紹 SunnyUI.NET 是一個基於 .NET Framework 4.0+、.NET 6、.NET 7 和 .NET 8 的 WinForm 開源控制項庫，同時也提供了工具類庫、擴展 ...
  • .net core8 使用Swagger（附當前源碼）
    說明 該文章是屬於OverallAuth2.0系列文章，每周更新一篇該系列文章（從0到1完成系統開發）。 該系統文章，我會儘量說的非常詳細，做到不管新手、老手都能看懂。 說明：OverallAuth2.0 是一個簡單、易懂、功能強大的許可權+可視化流程管理系統。 有興趣的朋友，請關註我吧(*^▽^*) ...
  • WPF 什麼時候 VisualTreeHelper.GetDescendantBounds 將返回無窮大
    一、下載安裝 1.下載git 必須先下載並安裝git，再TortoiseGit下載安裝 git安裝參考教程：https://blog.csdn.net/mukes/article/details/115693833 2.TortoiseGit下載與安裝 TortoiseGit，Git客戶端，32/6 ...
  • C# 開源教程帶你輕鬆掌握數據結構與演算法
    前言 在項目開發過程中，理解數據結構和演算法如同掌握蓋房子的秘訣。演算法不僅能幫助我們編寫高效、優質的代碼，還能解決項目中遇到的各種難題。 給大家推薦一個支持C#的開源免費、新手友好的數據結構與演算法入門教程：Hello演算法。 項目介紹 《Hello Algo》是一本開源免費、新手友好的數據結構與演算法入門 ...
  • 第22篇 生成proto文件bat腳本
    1.生成單個Proto.bat內容 @rem Copyright 2016, Google Inc. @rem All rights reserved. @rem @rem Redistribution and use in source and binary forms, with or with ...
  • 記一次 .NET某上位機視覺程式 卡死分析
    一：背景 1. 講故事 前段時間有位朋友找到我，說他的窗體程式在客戶這邊出現了卡死，讓我幫忙看下怎麼回事？dump也生成了，既然有dump了那就上 windbg 分析吧。 二：WinDbg 分析 1. 為什麼會卡死 窗體程式的卡死，入口門檻很低，後續往下分析就不一定了，不管怎麼說先用 !clrsta ...
  • 醫學DICOM文件與PACS系統進行數據傳輸
    前言 人工智慧時代，人臉識別技術已成為安全驗證、身份識別和用戶交互的關鍵工具。 給大家推薦一款.NET 開源提供了強大的人臉識別 API，工具不僅易於集成，還具備高效處理能力。 本文將介紹一款如何利用這些API，為我們的項目添加智能識別的亮點。 項目介紹 GitHub 上擁有 1.2k 星標的 C# ...
所有分類