大數據 - Teradata學習體會

来源:https://www.cnblogs.com/baijindashuju/archive/2019/05/07/10825008.html
-Advertisement-
Play Games

隨著電腦系統在處理能力、存儲能力等方面,特別是電腦軟體技術的不斷提高,使得信息處理技術得到飛速發展。 數據處理主要分為兩大類:聯機事物處理OLTP、聯機分析處理OLAP。OLTP也就是傳統的關係型資料庫應用,主要功能是基本的、日常的事務處理操作,對響應時間要求非常高,是一種面嚮應用的生產系統。O ...



隨著電腦系統在處理能力、存儲能力等方面,特別是電腦軟體技術的不斷提高,使得信息處理技術得到飛速發展。

數據處理主要分為兩大類:聯機事物處理OLTP、聯機分析處理OLAP。OLTP也就是傳統的關係型資料庫應用,主要功能是基本的、日常的事務處理操作,對響應時間要求非常高,是一種面嚮應用的生產系統。OLAP是基於數據倉庫的面向主題的信息分析處理過程。

什麼是數據倉庫
與傳統關係型資料庫不同的是,數據倉庫儲存的是歷史數據,針對數據倉庫系統的查詢大都非常複雜,特別消耗系統資源,對系統的可擴展能力和並行處理能力要求很高。數據倉庫主要面向業務人員和管理人員,用來幫助企業管理人員作出更符合業務發展規律的決策,所以也稱數據倉庫為決策支持系統。數據倉庫的數據來自多個資料庫,並且按照預先定義好的模型對抽取的數據進行轉換過濾,再將結果存放到數據倉庫中。

Teradata 資料庫
為瞭解決傳統資料庫在大量數據的查詢分析等方面的局限性,Teradata公司推出了Teradata關係資料庫管理系統。Teradata採用標準的SQL查詢語言,適用於處理複雜查詢數據倉庫應用。

架構
Teradata的主要組件是解析引擎、BYNET和訪問模塊處理器(AMP)。

 

解析引擎負責從客戶端接收查詢命令並制定執行計劃。
BYNET相當於網路層,它從解析引擎接收執行計劃併發送給相應的AMP,AMP的選擇採用哈希演算法實現。
數據表中的記錄均勻分佈在個AMP之間,每個AMP與存儲數據的一組磁碟相關聯。從BYNET接收數據和執行計劃後,進行類型轉換、聚合、過濾和排序等操作並將數據存儲到與其關聯的磁碟中。
操作
使用Teradata提供的免費Teradata資料庫開發人員版本可以進行開發測試,通過Teradata SQL Assistant或BTEQ等資料庫管理工具可以對數據倉庫進行操作,預設用戶為DBC,SQL語法和其它資料庫區別不大,但其獨特的內部結構適合需要處理複雜數據查詢的應用。

SQL 語法
Teradata使用了標準的SQL語法併在此基礎上進行了擴展,以增強資料庫管理系統的功能。所有的系統對象如Table、View、Macro等存儲在數據字典中,數據字典的所有者為DBC用戶,在客戶端可以調用數據字典中的對象訪問資料庫。剛開始使用Teradata時可以使用其幫助系統提供的命令HELP、SHOW、EXPLAIN查看資料庫中各種對象的結構以及SQL請求的執行過程,對理解Teradata工作原理以及各種SQL語句的使用有很大幫助。

體會
在如今快速發展的大數據革命時代,數據積累量越來越多,其中蘊含著大量重要的信息,通過對這些數據進行分析和綜合處理,可以發掘出對企業發展、政府管理部門至關重要的業務信息,幫助管理人員作出合理的決策。

當然,傳統的關係型資料庫也是可以完成基本的事務處理和數據分析操作的,但是當數據量非常龐大時,資料庫就顯得無能為力了。比如,一個早期的電商平臺,只需一個網站、幾台伺服器、一個MySQL就可以運營了,當客戶增多、數據量增大時,只需採用多台伺服器、多個資料庫的方式就可以勉強應付,但是隨著數據量的不斷增長,數據之間的關係也越來越複雜,管理人員此時關心的不是“昨天營業額是多少”這類問題,而是“哪些用戶是高價值用戶”、“某商品的銷售量與哪些因素有關”等,這時就需要建立數據倉庫了,Teradata數據倉庫是專門針對決策支持系統的特點而開發的關係資料庫管理系統,相對於其它商業資料庫,Teradata更適合需要處理大數據量及數據分析的應用,可以極大提高應用的性能。

資料庫可以存儲和處理數據,而數據倉庫的職責則是發掘數據的價值,最大程度地利用數據
推薦一個大數據學習群 142974151每天晚上20:10都有一節【免費的】大數據直播課程,專註大數據分析方法,大數據編程,大數據倉庫,大數據案例,人工智慧,數據挖掘都是純乾貨分享,


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 以下操作以win10操作系統為例 1 停止window的MySQL服務 打開此臺電腦的管理 > 服務和應用程式 >服務,找到mysql的服務並停止 2 卸載MySQL安裝程式 找到控制面板 >程式 >卸載程式,找到mysql server5.5卸載 3 刪除MySQL安裝目錄下的所有文件 4 刪除c ...
  • create database testuse test --部門表create table department( dept_id int not null identity primary key,--主鍵 dept_no char(4) not null unique, --編號 dept_n ...
  • create database libraryDBgouse libraryDBgo--讀者信息表create table ReaderInfo( ReaderId int not null primary key identity,--讀者編號,表示列、自動增長,主鍵 ReaderNo varch ...
  • NOW()和SYSDATE()雖然都表示當前時間,但使用上有一點點區別: NOW()取的是語句開始執行的時間 SYSDATE()取的是動態的實時時間 執行下麵這個例子就明白了:SELECT NOW(),SYSDATE(),SLEEP(3),NOW(),SYSDATE() 先查詢了NOW()和SYSD ...
  • [20190507]sga_target=0註意修改_kghdsidx_count設置.txt--//昨天遇到一例視圖定義太複雜導致長時間分析sql語句出現library cache lock等待事件的情況.--//加上大量使用非綁定變數語句,導致硬解析增加,導致問題更加嚴重.--//順便解析當時同 ...
  • 本實例使用的mysql版本為 mysql-8.0.15-winx64 1、下載zip包 官網地址:https://dev.mysql.com/downloads/mysql/ 2、安裝 解壓之後,將解壓的文件拷貝到自己比較傾向的安裝目錄,比如我自己就喜歡在C盤下麵,如圖: 圖上使用紅框圈出來的文件, ...
  • 要實現在不同業務群間做到數據的互聯互通,以及對數據價值的最大化挖掘,便需要對各業務群的數據進行整合以建立集團層面的「數據中台」,統一管理和應用數據。 ...
  • 1: --查詢表空間使用情況 2: SELECT Upper(F.TABLESPACE_NAME) "表空間名", 3: D.TOT_GROOTTE_MB "表空間大小(M)", 4: D.TOT_GROOTTE_MB - F.TOTAL_BYTES "已使用空間(M)", 5: To... ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...