資料下載 | 58同城HBase平臺及生態建設實踐

来源:https://www.cnblogs.com/zpb2016/archive/2020/04/08/12663661.html
-Advertisement-
Play Games

前言: 2020年3月7日晚7點,大佬張祥在微信群向大家詳細介紹了58同城HBase平臺及其生態的建設實踐與相關經驗,確實講得很好。今天花了點時間幫大家整理了一下,希望更多的沒有參與直播的朋友能夠看到它,也歡迎大家積極轉發一下,視頻與PPT 相關資料附於文末 。 亮點在哪 該分享的亮點在哪兒里呢?這 ...


前言:2020年3月7日晚7點,大佬張祥在微信群向大家詳細介紹了58同城HBase平臺及其生態的建設實踐與相關經驗,確實講得很好。今天花了點時間幫大家整理了一下,希望更多的沒有參與直播的朋友能夠看到它,也歡迎大家積極轉發一下,視頻與PPT相關資料附於文末

亮點在哪

該分享的亮點在哪兒里呢?這裡我就自己的理解闡述一下自己的想法,不喜勿噴哈~

1. 數據接入層

第一個亮點是:58同城在HBase之上做了進一步封裝(SCF),融入了微服務,充分利用了微服務的優勢和特點,比如熔斷、監控、許可權、動態擴縮容等等都可以在這一層做,雖然也多了一層運維成本,但微服務技術應該也算有比較成熟的體系了。

之前也聽過諸多言論,比如HBase之上封裝一層HTTP或是RPC服務會導致性能降低之類的說法,其實我倒是覺得影響還是比較小的,當然肯定會有些影響。對性能影響比較大的只可能是過度封裝或是對HTTP/RPC框架不熟。

當然,性能與伺服器成本是掛鉤的,性能的提升會帶來伺服器成本的降低,諸多好處和不足還應權衡一下。58同城,也算是在這一方面開了一個不錯的先例(恕我孤陋寡聞~)。

2. 多租戶打通與數據隔離

聽完整個視頻,我覺得第二個亮點算是多租戶的全線打通了,這裡主要是一個解決方式:Hadoop ugi 的提出。可能是我孤陋寡聞吧,這個對我的啟發確實挺大的,因為正好可以解決自己在工作中遇到的一個比較頭疼的問題:基於Kerberos太重,如何打通HBase的授權與鑒權,並充分利用HBase ACL?如果你也有這個困惑,可以瞭解一下。

3. 集群遷移方案

第三個亮點,是一套新的集群遷移方案的提出。以往的貼大都是Snapshot+Replication的方式做這個遷移工作,58首先提出了一個集群雙寫的方案(恕我孤陋寡聞~),感覺挺好。大家可以詳細看看視頻,張祥講解的也很清楚。

答疑解惑

答疑環節呢比較少,這裡把微信群里屈指可數的幾個問題貼一下:

1. 集群遷移為什麼不直接snapshot+export_snapshot?

張祥: “
你這個方式慢,snapshot-export這個工具慢 你試試
而且,如果之前的老表 分區不合理,比如過大或者過小,你這樣就不好重新創建新分區了”

2. clone-snapshot以後,major_compact主要是什麼考慮?合併小文件嗎?還是?

張祥: “
把一個表複製一下,做個深度拷貝,而不是副本引用。”

3. 數據接入層,多租戶RPC長鏈接創建後是如何實現用戶動態切換的?我目前的理解HBase是在建立連接前指定用戶。

張祥: “ugi”

資料分享

線上視頻播放地址:
微信視頻:https://mp.weixin.qq.com/s/pUhsvUaznySryItwjWTjQg
鬥魚直播:https://www.douyu.com/5022062
騰訊視頻:https://v.qq.com/x/page/g3078klzfwj.html

PPT下載地址:

百度雲:
鏈接:https://pan.baidu.com/s/1fAnxS4bSj9HShMOkiFMWfA
提取碼:um8a

掃描二維碼關註博主公眾號

轉載請註明出處!歡迎關註本人微信公眾號【HBase工作筆記】


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 1.在使用Tomcat部署一些東西時,你會遇到返回碼500,比如下麵部署jspgou商城報錯 這時候你需要仔細檢查一下,有沒有和配置文件上面的一一應。 下麵用jspgou商城舉例: 一、在mysql資料庫中創建jspgou資料庫(推薦使用此資料庫名,否則參照第二條修改對應的資料庫鏈接信息),字元集為 ...
  • linux 零基礎入門1.1linux介紹 操作系統用途: 管理硬體 驅動硬體 管理軟體 分配資源1.2 linux的發展unix -> windows ->linuxlinux 免費 開源第二章 vmware虛擬化部署2.1 優勢:快速部署;安全性強;多系統運行;龐大的生態系統 workstati ...
  • 1.實驗環境 目標靶機:OWASP_Broken_Web_Apps_VM_1.2 "下載地址" 我們還需要 和`kali`這兩個工具,把所有的殺毒軟體關了,不然中國菜刀可能會被殺毒軟體和諧。 實驗原理 2.低安全模式 首先我們需要用虛擬機打開目標靶機,並查看ip地址 找到ip後,我們打開網頁訪問19 ...
  • 當你訪問網頁提示: 改好配置文件,重新啟動tomcat服務,稍微等個幾分鐘就可以了。 你們的評論和點贊是我寫文章的最大動力,蟹蟹。 ...
  • 本次實驗環境:cn_windows_server_2019_x64_dvd_4de40f33cn_sharepoint_server_2019cn_sql_server_2016_enterprise_x64_dvd_8699450前期需安裝AD服務,可以參考之前的博文。第一步:安裝資料庫服務第二步... ...
  • 前言 本實驗是在centos8下搭建,搭建方式為yum(dnf)搭建,畢竟源碼搭建難度大,還要解決各種依賴關係,在搭建體驗與步驟上,與7代差別其實不大,也可能是我太菜了體會不到,最直觀的可能是版本問題,php預設版本由以前的5.x升級到了7.x,apache版本升級到了2.4,性能和效率上都有所提高 ...
  • 一 實踐規劃 1.1 實踐需求 本實驗通過資源配額和資源配置範圍的配合來控制一個命名空間的資源使用。 集群管理員根據集群用戶的數量來調整集群配置,以達到這個目的:能控制特定命名空間中的資源使用量,最終實現集群的公平使用和成本控制。 需要實現的功能如下: 限制運行狀態的Pod的計算資源用量。 限制持久 ...
  • 系統版本CentOS6.10_x64 開啟防火牆命令:service iptables start 關閉防火牆命令:service iptables stop 重啟防火牆命令:service iptables restart 查看防火牆狀態:service iptables status linux ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...