結合其他同學和自己的筆記總結如下 什麼是hive? 基於Hadoop的開源的數據倉庫工具，用於處理海量結構化數據。 Hive把HDFS中結構化的數據映射成表。 Hive通過把HiveSQL進行解析和轉換，最終生成一系列在hadoop上運行的mapreduce任務，通過執行這些任務完成數據分析與處理。 ...
結合其他同學和自己的筆記總結如下
什麼是hive?
- 基於Hadoop的開源的數據倉庫工具，用於處理海量結構化數據。
- Hive把HDFS中結構化的數據映射成表。
- Hive通過把HiveSQL進行解析和轉換，最終生成一系列在hadoop上運行的mapreduce任務，通過執行這些任務完成數據分析與處理。
Hive與傳統資料庫的比較
由於Hive採用了SQL的查詢語言HQL，因此很容易將Hive理解為資料庫。其實從結構上來看，Hive和資料庫除了擁有類似的查詢語言，再無類似之處。本文將從多個方面來闡述Hive和資料庫的差異。資料庫可以用在Online的應用中，但是Hive是為數據倉庫而設計的，清楚這一點，有助於從應用角度理解Hive的特性。
1.查詢語言
由於 SQL被廣泛的應用在數據倉庫中，因此，專門針對 Hive的特性設計了類 SQL的查詢語言 HQL。熟悉 SQL開發的開發者可以很方便的使用 Hive進行開發。
2.數據存儲位置
Hive 是建立在 Hadoop之上的，所有 Hive的數據都是存儲在 HDFS中的。而資料庫則可以將數據保存在塊設備或者本地文件系統中。
3.數據格式
Hive 中沒有定義專門的數據格式，數據格式可以由用戶指定，用戶定義數據格式需要指定三個屬性：列分隔符（通常為空格、”\t”、”\x001″）、行分隔符（”\n”）以及讀取文件數據的方法（Hive中預設有三個文件格式TextFile，SequenceFile以及 RCFile）。由於在載入數據的過程中，不需要從用戶數據格式到 Hive定義的數據格式的轉換，因此，Hive在載入的過程中不會對數據本身進行任何修改，而只是將數據內容複製或者移動到相應的 HDFS目錄中。而在資料庫中，不同的資料庫有不同的存儲引擎，定義了自己的數據格式。所有數據都會按照一定的組織存儲，因此，資料庫載入數據的過程會比較耗時。
4.數據更新
由於 Hive是針對數據倉庫應用設計的，而數據倉庫的內容是讀多寫少的。因此，Hive中不支持對數據的改寫和添加，所有的數據都是在載入的時候中確定好的。而資料庫中的數據通常是需要經常進行修改的，因此可以使用 INSERT INTO ... VALUES添加數據，使用 UPDATE ... SET修改數據。
5.索引
之前已經說過，Hive在載入數據的過程中不會對數據進行任何處理，甚至不會對數據進行掃描，因此也沒有對數據中的某些Key建立索引。Hive要訪問數據中滿足條件的特定值時，需要暴力掃描整個數據，因此訪問延遲較高。由於 MapReduce的引入， Hive可以並行訪問數據，因此即使沒有索引，對於大數據量的訪問，Hive仍然可以體現出優勢。資料庫中，通常會針對一個或者幾個列建立索引，因此對於少量的特定條件的數據的訪問，資料庫可以有很高的效率，較低的延遲。由於數據的訪問延遲較高，決定了 Hive不適合線上數據查詢。
6.執行
Hive 中大多數查詢的執行是通過 Hadoop提供的 MapReduce來實現的（類似 select * from tbl的查詢不需要MapReduce）。而資料庫通常有自己的執行引擎，executor執行器。
7.執行延遲
之前提到，Hive在查詢數據的時候，由於沒有索引，需要掃描整個表，因此延遲較高。另外一個導致 Hive執行延遲高的因素是MapReduce框架。由於 MapReduce本身具有較高的延遲，因此在利用 MapReduce執行 Hive 查詢時，也會有較高的延遲。相對的，資料庫的執行延遲較低。當然，這個低是有條件的，即數據規模較小，當數據規模大到超過資料庫的處理能力的時候，Hive的並行計算顯然能體現出優勢。
8.可擴展性
由於 Hive是建立在 Hadoop之上的，因此 Hive的可擴展性是和 Hadoop的可擴展性是一致的。而資料庫由於 ACID語義的嚴格限制，擴展行非常有限。目前最先進的並行資料庫 Oracle在理論上的擴展能力也只有 100台左右。
9.數據規模
由於 Hive建立在集群上並可以利用 MapReduce進行並行計算，因此可以支持很大規模的數據；對應的，資料庫可以支持的數據規模較小。
說明：
- 數據倉庫/數據湖主要是用來數據分析的，對企業中的決策起到關鍵性的作用。
- 數據倉庫本身不產生數據，也不消耗數據；其數據是從外部來的，並且主要提供給外部使用。
- 數據倉庫是面向主題性來構建的，一般一個數倉都有一個特定的目的。數據倉庫集成了眾多類型的數據，分成了許多不同的層次。
- 數據倉庫中的歷史數據一般不會改變，因為其主要用來記錄已經發生的事實的數據。
- 數據倉庫上層的分析是可能會發生變化的，體現了分析的靈活性。
- 面向事務的聯機事務處理OLTP vs 面向分析的聯機分析處理OLAP
Hive的優勢：
- 把海量數據存儲於 Hadoop 文件系統，而不是資料庫。提供了一套類資料庫的數據存儲和處理機制，並採用 HQL （類 SQL ）語言對這些數據進行自動化處理。
- 不僅提供了一個熟悉SQL的用戶所能熟悉的編程模型，還消除了大量的通用代碼，甚至那些那些Java編寫的令人棘手的代碼。
- 學習成本低，可以通過類SQL語句快速實現簡單的MapReduce統計，不必開發專門的MapReduce應用，十分適合數據倉庫的統計分析，應用開發靈活而高效。
以下慎用：
查看資料庫信息
desc database extended 資料庫名；
刪除資料庫
drop database if exists 庫名；
強制刪除資料庫
drop database if exists 庫名 cascode；
參考鏈接：https://blog.csdn.net/shida1009/article/details/78789741
