HBase Shell Get 操作常用小技巧

在工作中,有時候只是想簡單看下HBase表某些關鍵指標的值,這個時候總不能現寫Java代碼去查看,以下幾個小技巧你可能會經常用到。 1. 某行有許多列,只想獲取指定2~3列的數據 2. 想看某個欄位多個版本的數據 3. 想看被16進位化的中文或數字 對於Int型、Long型數值,支持toInt|to ...

【趙強老師】在Spark SQL中讀取JSON文件

Spark SQL是Spark用來處理結構化數據的一個模塊,它提供了一個編程抽象叫做DataFrame並且作為分散式SQL查詢引擎的作用。為什麼要學習Spark SQL?如果大家瞭解Hive的話,應該知道它是將Hive SQL轉換成MapReduce然後提交到集群上執行,大大簡化了編寫MapRedu ...

讀者來信 | 如果你家HBase集群Region太多請點進來看看,這個問題你可能會遇到

前言: 《讀者來信》是HBase老店開設的一個問答專欄,旨在能為更多的小伙伴解決工作中常遇到的HBase相關的問題。老店會儘力幫大家解決這些問題或幫你發出求救貼,老店希望這會是一個互幫互助的小平臺。有問題請直接在老店後臺留言,有好的解決方案也請不要吝嗇,誠摯歡迎大家能在留言區積極探討解決方案,大膽發 ...

MySQL進階篇(01):基於多個維度,分析伺服器性能

本文源碼: "GitHub·點這裡" || "GitEE·點這裡" 一、伺服器性能簡介 1、性能定義 伺服器性能優化是一項非常艱巨的任務,當然也是很難處理的問題,在寫這篇文章的時候,特意請教下運維大佬,硬體工程師,資料庫管理,單從自己的實際開發經驗來看,看待這個問題的角度起碼是不全面的。 :在公司靠 ...

sql自動化檢查和分析工具 :soar和soar-web 安裝和使用體驗

為了研究一下sql自動化檢查和分析工具,是否有網上介紹的好用,我在本地進行soar 和 soar-web的安裝和使用。 初步的實驗結果,總結如下: 1. 安裝相對來說較為麻煩,特別是soar-web的依賴包安裝,涉及到python pip相關組件的下載安裝。 2. 啟動soar-web會遇到一些奇怪 ...

SQL Server 2012自動標識列值跳轉問題

在SQL Server 2012版本中,當重新啟動SQL Server實例時,表的身份值將被跳轉,而實際跳轉的值取決於身份列數據類型。 如果是整數(int)數據類型,則跳轉值為1000;如果為大整數(bigint),則跳轉值為10000。從我們的應用程式角度來看,此增量不適用於所有業務案例,尤其是當... ...

常用的MySQL優化操作

操作系統配優化 執行計劃與鎖表查看 --查看連接信息以及連接執行的命令 SHOW PROCESSLIST --查看當前被鎖住的表 show OPEN TABLES where In_use > 0; --開啟會話級別的profile SET profiling=1 --查看所有的資料庫操作執行過程 ...

資料庫隔離級別

資料庫隔離級別 如果沒有隔離級別會出現的問題 臟讀 意思是讀取到了事務正在修改的數據,如果事務回滾,那麼拿到的數據就是錯誤的 | 時間 | 事務A | 事務B | | | | | | 1 | 開始事務 | | | 2 | 讀取quantity為5 | | | 3 | 修改quantity為4 | | ...

redis 實戰-redis 事務

redis 實戰-redis 事務 1.描述 redis 事務單獨的隔離操作:事務中的所有命令都會序列化、按順序執行。事務在執行過程中,不會被其他客戶端發送過來的命令請求所打斷。 redis 事務沒有隔離級別的概念:隊列中的命令沒有提交之前都不會實際的被執行,因為事務提交前任何指令都不會被實際執行, ...

MySQL count知多少

統計一個表的數據量是經常遇到的需求,但是不同的表設計及不同的寫法,統計性能差別會有較大的差異,下麵就簡單通過實驗進行測試(大家測試的時候註意緩存的情況,否則影響測試結果)。 1、 準備工作 為了後續測試工作的進行,先準備幾張用於測試的表及數據,為了使測試數據具有參考意義,建議測試表的數據量大一點,以 ...

hadoop-ha+zookeeper+hbase+hive+sqoop+flume+kafka+spark集群安裝

創建3台虛擬機 主機為桌面版 其他為迷你版本 ******************************常用命令、進程名稱****************************啟動集群命令: start-all.sh啟動zookeeper: zkServer.sh start 啟動journal ...

【Redis】入門

Redis是一個開源的、基於記憶體的數據結構存儲器,可以用作資料庫、緩存和消息中間件 Redis最常用的功能 緩存 分散式鎖 ...

【趙強老師】搭建Hadoop環境

說明:這裡我們以本地模式和偽分佈模式偽列,為大家介紹如何搭建Hadoop環境。有了這個基礎,大家可以自行搭建Hadoop的全分佈模式。 需要使用的安裝介質: hadoop-2.7.3.tar.gz jdk-8u181-linux-x64.tar.gz rhel-server-7.4-x86_64-d ...

mongodb高級聚合查詢

https://www.cnblogs.com/zhoujie/p/mongo1.html mongodb高級聚合查詢 在工作中會經常遇到一些mongodb的聚合操作,特此總結下。mongo存儲的可以是複雜類型,比如數組、對象等mysql不善於處理的文檔型結構,並且聚合的操作也比mysql複雜很多。 ...

從谷歌 GFS 架構設計聊開去

偉人說:“人多力量大。” 尼古拉斯趙四說:“沒有什麼事,是一頓飯解決不了的!!!如果有,那就兩頓。” 研發說:“需求太多,人手不夠。” 專家說:“人手不夠,那就協調資源,攢人頭。” 釋義:一人拾柴火不旺,眾人拾柴火焰高。一人難挑千斤擔,眾人能移萬座山。 運維說:“一臺機器不夠;一個服務扛不住壓力。” ...

谷歌 MapReduce 初探

谷歌“三駕馬車”的出現,才真正把我們帶入了大數據時代,畢竟沒有谷歌,就沒有大數據。 上次的分享,我們對谷歌的其中一駕寶車 GFS 進行了管中窺豹,雖然只見得其中一斑,但是也能清楚的知道 GFS 能夠把大量廉價的普通機器,聚在一起,充分讓每台廉價的機器發揮光和熱,不但降低了運營成本,而且解決了一個業界 ...

悟懂MapReduce,不糾結!

在《谷歌 MapReduce 初探》中,我們通過統計詞頻的 WordCount 經典案例,對 Google 推出的 MapReduce 編程模型有了一個認識,但是那種認識,還只是停留在知道有那麼個模型存在,並沒有認識到骨子裡。而且上次初探,也遺留了很多猜想和疑問,這次不妨讓我們深入去認識一下 Map ...

聊起 BigTable,讓你不再膽怯

谷歌“三駕馬車”的出現,才真正把我們帶入了大數據時代,並指明瞭大數據的發展方向。 GFS 作為其中一駕寶車,解決了大數據存儲的難題。它能夠把大量廉價的普通機器,聚在一起,充分讓每台廉價的機器發揮光和熱。其中在《從谷歌 GFS 架構設計聊開去》中我們針對 GFS 進行了管中窺豹,體會到其中一斑,不得不 ...

一周排行
  • .NET 走向開源,MIT許可協議。 微軟為了推動.NET開源社區的發展,2014年聯合社區成立了.NET基金會。 一年前 .NET 基金會完成第一次全面改選,2014年 .NET基金會的創始成員中有六位創始人,均非微軟公司員工,隨著微軟的收購動作,Miguel 也成了微軟員工,Migel一直在努力 ...
  • 在這篇文章中,我將帶領大家詳細學習ASP.NET Core 中的Main方法。在這篇文章中,我將向大家詳細介紹下麵幾個問題:ASP.NET Core Main方法的重要性為什麼我們在ASP.NET Core中會有一個Main方法?當你運行一個ASP.NET Core應用程式的時候,背後發生了什麼?為... ...
  • IViewLocationExpander API ExpandViewLocations Razor視圖路徑,視圖引擎會搜索該路徑. PopulateValues 每次調用都會填充路由 項目目錄如下所示 創建區域擴展器,其實我並不需要多區域,我目前只需要達到一個區域中有多個文件夾進行存放我的視圖. ...
  • EF Core 數據變更自動審計設計 Intro 有的時候我們需要知道每個數據表的變更記錄以便做一些數據審計,數據恢復以及數據同步等之類的事情, EF 自帶了對象追蹤,使得我們可以很方便的做一些審計工作,每次變更發生了什麼變化都變得很清晰,於是就基於 EF 封裝了一層數據變更自動審計 使用效果 測試 ...
  • 在上一篇文章abp(net core)+easyui+efcore實現倉儲管理系統——入庫管理之六(四十二)中我們實現了新增入庫單的功能。結合之前的五篇文章,今天我們來測試一下入庫單新增功能。 ...
  • 這篇文章,我們一起學習ASP.NET Core InProcess Hosting.這篇文章主要討論下麵幾個觀點:CreateDefaultBuilder方法執行什麼任務?什麼是ASP.NET Core InProcess Hosting?怎麼使用InProcess hosting Model來托管... ...
  • 關於 Blazor Server Side 的開篇 , Blazor與 C/S , B/S 有什麼不一樣 , Blazor有什麼優缺點? ...
  • VS2019+MVC+EF6 CodeFirst 連接MySQL 1、準備環境(通過NuGet獲取) EntityFramework MySql.Data.Entity 安裝後確認 2、在MVC Model文件夾下添加一個學生類,後面用它通過[數據遷移]在MySQL中創建一個表 3、創建數據上下文 ...
  • 這篇文章,向大家介紹ASP.NET Core中的Kestrel Web伺服器。這篇文章主要討論下麵兩個重要的事情:什麼是Kestrel 伺服器?怎麼使用.NET Core CLI來運行ASP.NET Core應用程式?什麼是Kestrel伺服器? 我們已經知道ASP.NET Core是一個跨平臺的開... ...
  • 前言 回顧之前的兩篇Swagger做Api介面文檔,我們大體上學會瞭如何在net core3.1的項目基礎上,搭建一套自動生產API介面說明文檔的框架。 本來在Swagger的基礎上,前後端開發人員在開發生產期間,可以藉此進行更加便捷的溝通交流。可是總有些時候,遇到一些難纏的,又不講道理,偏偏覺得將 ...