隨著電腦系統在處理能力、存儲能力等方面,特別是電腦軟體技術的不斷提高,使得信息處理技術得到飛速發展。 數據處理主要分為兩大類:聯機事物處理OLTP、聯機分析處理OLAP。OLTP也就是傳統的關係型資料庫應用,主要功能是基本的、日常的事務處理操作,對響應時間要求非常高,是一種面嚮應用的生產系統。O ...
隨著電腦系統在處理能力、存儲能力等方面,特別是電腦軟體技術的不斷提高,使得信息處理技術得到飛速發展。
數據處理主要分為兩大類:聯機事物處理OLTP、聯機分析處理OLAP。OLTP也就是傳統的關係型資料庫應用,主要功能是基本的、日常的事務處理操作,對響應時間要求非常高,是一種面嚮應用的生產系統。OLAP是基於數據倉庫的面向主題的信息分析處理過程。
什麼是數據倉庫
與傳統關係型資料庫不同的是,數據倉庫儲存的是歷史數據,針對數據倉庫系統的查詢大都非常複雜,特別消耗系統資源,對系統的可擴展能力和並行處理能力要求很高。數據倉庫主要面向業務人員和管理人員,用來幫助企業管理人員作出更符合業務發展規律的決策,所以也稱數據倉庫為決策支持系統。數據倉庫的數據來自多個資料庫,並且按照預先定義好的模型對抽取的數據進行轉換過濾,再將結果存放到數據倉庫中。
Teradata 資料庫
為瞭解決傳統資料庫在大量數據的查詢分析等方面的局限性,Teradata公司推出了Teradata關係資料庫管理系統。Teradata採用標準的SQL查詢語言,適用於處理複雜查詢數據倉庫應用。
架構
Teradata的主要組件是解析引擎、BYNET和訪問模塊處理器(AMP)。
解析引擎負責從客戶端接收查詢命令並制定執行計劃。
BYNET相當於網路層,它從解析引擎接收執行計劃併發送給相應的AMP,AMP的選擇採用哈希演算法實現。
數據表中的記錄均勻分佈在個AMP之間,每個AMP與存儲數據的一組磁碟相關聯。從BYNET接收數據和執行計劃後,進行類型轉換、聚合、過濾和排序等操作並將數據存儲到與其關聯的磁碟中。
操作
使用Teradata提供的免費Teradata資料庫開發人員版本可以進行開發測試,通過Teradata SQL Assistant或BTEQ等資料庫管理工具可以對數據倉庫進行操作,預設用戶為DBC,SQL語法和其它資料庫區別不大,但其獨特的內部結構適合需要處理複雜數據查詢的應用。
SQL 語法
Teradata使用了標準的SQL語法併在此基礎上進行了擴展,以增強資料庫管理系統的功能。所有的系統對象如Table、View、Macro等存儲在數據字典中,數據字典的所有者為DBC用戶,在客戶端可以調用數據字典中的對象訪問資料庫。剛開始使用Teradata時可以使用其幫助系統提供的命令HELP、SHOW、EXPLAIN查看資料庫中各種對象的結構以及SQL請求的執行過程,對理解Teradata工作原理以及各種SQL語句的使用有很大幫助。
體會
在如今快速發展的大數據革命時代,數據積累量越來越多,其中蘊含著大量重要的信息,通過對這些數據進行分析和綜合處理,可以發掘出對企業發展、政府管理部門至關重要的業務信息,幫助管理人員作出合理的決策。
當然,傳統的關係型資料庫也是可以完成基本的事務處理和數據分析操作的,但是當數據量非常龐大時,資料庫就顯得無能為力了。比如,一個早期的電商平臺,只需一個網站、幾台伺服器、一個MySQL就可以運營了,當客戶增多、數據量增大時,只需採用多台伺服器、多個資料庫的方式就可以勉強應付,但是隨著數據量的不斷增長,數據之間的關係也越來越複雜,管理人員此時關心的不是“昨天營業額是多少”這類問題,而是“哪些用戶是高價值用戶”、“某商品的銷售量與哪些因素有關”等,這時就需要建立數據倉庫了,Teradata數據倉庫是專門針對決策支持系統的特點而開發的關係資料庫管理系統,相對於其它商業資料庫,Teradata更適合需要處理大數據量及數據分析的應用,可以極大提高應用的性能。
資料庫可以存儲和處理數據,而數據倉庫的職責則是發掘數據的價值,最大程度地利用數據
推薦一個大數據學習群 142974151每天晚上20:10都有一節【免費的】大數據直播課程,專註大數據分析方法,大數據編程,大數據倉庫,大數據案例,人工智慧,數據挖掘都是純乾貨分享,