【雲+社區極客說】新一代大數據技術:構建PB級雲端數倉實踐

来源:https://www.cnblogs.com/qcloud1001/archive/2018/10/10/9766909.html
-Advertisement-
Play Games

本文來自 " 騰訊雲技術沙龍 " ,本次沙龍主題為 " 構建PB級雲端數倉實踐 " 在現代社會中,隨著4G和光纖網路的普及、智能終端更清晰的攝像頭和更靈敏的感測器、物聯網設備入網等等而產生的數據,導致了PB級儲存的需求加大。 但數據保留下來並不代表它真的具有利用價值,曾經保存的幾TB的日誌,要麼用來 ...


本文來自騰訊雲技術沙龍,本次沙龍主題為構建PB級雲端數倉實踐

在現代社會中,隨著4G和光纖網路的普及、智能終端更清晰的攝像頭和更靈敏的感測器、物聯網設備入網等等而產生的數據,導致了PB級儲存的需求加大。

但數據保留下來並不代表它真的具有利用價值,曾經保存的幾TB的日誌,要麼用來做做最簡單的加減乘除統計,要麼就在日後出現問題了,扒出日誌堆找證據。你的影視庫裡面可以下載儲存成千上萬部影片,但不代表你真的能全部看完。

如何將手裡現有的數據變得更具有價值?一些營銷雲已經可以做到毫秒級響應做到精準投放廣告,使用戶的日誌更有價值;人工智慧逐漸參與輔助醫療,醫學影像數據值得保存幾十年了。無論是監管政策還是客戶需求,隨著技術進步價格降低,都在推動著數據總量越來越大。

在這個大背景下,從公司戰略到產業生態,從學術研究到生產實踐,從城鎮管理乃至國家治理,都將發生本質的變化。國家競爭力將部分體現為一國擁有數據的規模、活性以及解釋、運用數據的能力。通過以Hadoop, Spark為代表的大數據技術來構建新型數據倉庫,已經成為越來越多的企業應對數據挑戰的方式。

大數據最前沿的的技術與行業趨勢如何?

傳統企業級數倉將面臨怎樣的挑戰?

而騰訊雲大數據又是如何應對的?

本期極客說將為您一一解答。

本次雲+社區極客說邀請了堵俊平(騰訊雲大數據基礎團隊負責人,大數據技術專家)來為大家介紹大數據領域最近的技術趨勢,包含介紹Hadoop與Spark技術的最新進展。並將通過一些實際的應用案例,來介紹騰訊大數據是如何在雲上構建PB級的數據倉庫,以及如何解決一些工程難題的。

演講嘉賓

堵俊平

img

  • 騰訊雲大數據基礎團隊負責人,大數據技術專家

  • 曾任EMC,VMware資深研發工程師

  • Hortonworks美國YARN團隊負責人

  • 深耕雲計算,大數據方向10餘年

  • 在多個社區均享有極高知名度,包括Apache Hadoop社區Committer & PMC

  • 領導hadoop 2.6、2.8等應用非常廣泛的社區release

  • 曾領導開發多個Hadoop在雲平臺上優化與拓展的項目與產品

  • 目前在騰訊致力於領導騰訊雲大數據及人工智慧產品研發

直播時間:

10月18日 19:00

內容簡介:

大數據新時代:

  • 大數據的技術與行業趨勢

  • Hadoop與Spark技術最近進展

數倉技術發展:

  • 傳統企業級數倉的挑戰

  • 騰訊雲構建大數據云數倉的實踐與技術分享

  • 新的趨勢:數據湖

img

識別圖中二維碼即可免費報名預約直播哦!


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 背景 考慮以下場景: InfoTable(信息表): | Name | Gender | Age | Score | | | | | | | 張三 | 男 | 21 | 90 | | 李四 | 女 | 20 | 87 | | 王五 | 男 | 22 | 92 | | 趙六 | 女 | 19 | 94 ...
  • 前段時間維護的一個事業群的其中一條業務線的開發找到運維,提出來了一個MongoDB的優化問題,那段時間MongoDB正在從op管理移交給db進行維護,整個部門都對MongoDB的運維經驗缺乏,MongoDB的優化更是一個未知的挑戰。當op找到我,核心系統的公共服務平臺用來進行簡訊服務的MongoDB ...
  • 一. 完全備份恢復說明 xtrabackup二進位文件有一個xtrabackup --copy-back選項,它將備份複製到伺服器的datadir目錄下。下麵是通過 --target-dir 指定完全備份文件的目錄,還原到datadir目錄下。 可以使用xtrabackup --move-back選 ...
  • mysql百萬級以上搜索 如果用LIKE %搜索詞%這種,肯定是非常慢的,換種方法,建立索引,如果用match() againtst()這種方法,那就非常快了! ...
  • 解析配置文件redis.conf目錄導航: 它在哪 Units單位 INCLUDES包含 GENERAL通用 SNAPSHOTTING快照 REPLICATION複製 SECURITY安全 LIMITS限制 APPEND ONLY MODE追加 常見配置redis.conf介紹 它在哪 地址 為什麼 ...
  • NoSQL入門和概述目錄導航: NoSQL入門概述 3V+3高 當下的NoSQL經典應用 NoSQL數據模型簡介 NoSQL資料庫的四大分類 在分散式資料庫中CAP原理CAP+BASE NoSQL 入門概述 互聯網時代背景下的大機遇,為什麼用NoSQL 單機MySQL的美好年代 單機MySQL的美好 ...
  • 1、mysql 使用order by field() 自定義排序 order by field(value,str1,str2,str3,str4......strn) 例如:select * from driver_log order by field(name,'Suzi','Ben','Hen ...
  • 一 查看資料庫、表、數據欄位、數據 1 首先配置環境變數 進入mysql 或者通過一鍵集成工具 打開mysql命令行 或者mysql 可視化工具 打開命令行 進入這樣的界面 不同的機器操作不同,這裡就不一一描述了 2 查看當前所有的資料庫 show databases; 3 選擇(進入) 資料庫 u ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...