DW(二):SqlServer PDW

来源:http://www.cnblogs.com/tgzhu/archive/2016/09/18/5874234.html
-Advertisement-
Play Games

當微軟發佈第一個SQL Server並行數據倉庫R2時(SQL ServerParallel Data Warehouse,即PDW),已正式將產品的名稱修改為分析服務平臺(APS),但在一些非正式場合,仍然保留了PDW的叫法 目錄: APS簡介 APS特性 NEC一體機 戴爾資料庫一體機 小結 A ...


     當微軟發佈第一個SQL Server並行數據倉庫R2時(SQL ServerParallel Data Warehouse,即PDW),已正式將產品的名稱修改為分析服務平臺(APS),但在一些非正式場合,仍然保留了PDW的叫法

目錄:

  • APS簡介
  • APS特性
  • NEC一體機
  • 戴爾資料庫一體機
  • 小結

APS簡介


  • 2014年4月推出了APS(Analytics Platform System,也稱為PDW(ParallelData Warehouse
  • 微軟分析平臺系統APS是一個集成了結構化和非結構化數據數據倉庫平臺
  • 有戴爾、惠普、Quanta(廣達)、NEC提供了基於APS的一體機,而微軟是客戶獲得硬體和軟體支持唯一聯繫方。因此,作為一個數據倉庫設備,APS提供了單位存儲空間最低價格的用戶可用存儲(壓縮後)
  • APS一體機是一個針對現代數據倉庫需求的高性能和可擴展的並行處理設備
  • APS一體機上集成了SQLServer PDW軟體(SQL Server專門為了在APS中運行的大規模並行處理版本)和一個可選的HDInsightHadoop 平臺(基於HDP的Windows版微軟Hadoop產品)
  • APS的大數據功能及其包含的PolyBase支持使用標準的SQL查詢去訪問Hadoop數據和加入關係型數據,而不需要將數據預載入到數據倉庫中
  • 這種在傳統數據倉庫和大數據部署環境之間實現的無縫整合使APS成為一個主流的企業級大數據平臺

APS特性


  • 它是一個大規模並行處理設備?(指aps的一體機),可以並行和分佈的方式去處理高度併發和複雜度的查詢
  • SQL Server PDW運行在APS設備之內,它使用記憶體內可更新的行存儲索引去改進了數據載入和查詢響應時間,最多比傳統數據倉庫系統高50倍
  • APS在軟體中內置了可靠、可擴展和高性能的存儲特性,它們降低了硬體成本——而且它內置了支持容錯的硬體冗餘性
  • APS提供了記憶體內可更新的欄位存儲索引,支持高達15倍的數據壓縮率,最高可以節省70%的存儲需求。
  • APS是一個基於機架的系統,因此不會過多購買容量,一開始可以只使用四分之一的機架,它支持修改設備容量大小,然後將來在需要時可以使用傳統SQL Server系統橫向擴展的相同工具來擴展它的大小。

NEC一體機


  • NEC與微軟合作推出了強大的SQLServer PCle SSD一體機,它支持大規模線上事務處理(OLTP)和商業智能(BI)負載。
  • 它搭配NEC Express 5800可擴展的企業級伺服器系列,包含一個4U伺服器,最多支持四個英特爾的Xeon E7處理器,一共有24個物理內核。
  • 伺服器還帶有16個可用的PCI-Express 3.0 I/O插槽和64個可用的DDR3記憶體插槽。
  • NEC資料庫一體機不僅提供了高性能的數據處理,還預裝了HGST FlashMAX II PCIe快閃記憶體。FlashMAX II是一個多層的快閃記憶體單元,這意味著每一個記憶體單元都能夠存儲多個比特位信息,同時集成了為快閃記憶體優化的硬體RAID原理。通過FlashMAX II設備,伺服器可容納8.8TB的快閃記憶體存儲並提供8.2GBps的邏輯掃描速率。
  • 依照在SQL Server FastTrack Data Warehouse(FTDW)參考體系架構的概述,NEC一體機是按照最佳實踐配置進行構建的,FTDW定義了一個針對硬體吞吐量最大化SQL Server數據處理的核心平衡架構,NEC一體機使用FTDW配置來平衡CPU內核與I/O通道和存儲順序I/O的能力

戴爾資料庫一體機


  • 戴爾的資料庫一體機也集成了來自Fusion-io的快閃記憶體技術。
  • 與NEC有所不同,戴爾一體機不是圍繞著一個特定的平臺構建的。相反,其重點是在企業級應用上,包括了廣泛的資料庫產品支持:MySQL,Sybase,Oracle資料庫,SAP HANA,MongoDB,Apache Cassandra,當然也包括SQL Server 2014+
  • 戴爾一體機使用了DellPowerEdge R720 2U機架伺服器,能夠支持12TB快閃記憶體、40GB帶寬和2.5每秒百萬的IOPS。快閃記憶體是通過Fusion io Memory設備提供並且使用自適應閃回(Adaptive FlashBack)保護數據。與許多依賴存儲配置的RAID快閃記憶體設備不同,自適應閃回的數據處理粒度已經提升到了數據塊級別,它簡化了管理並保證了業務連續性。
  • 當結合了Fusion-io快閃記憶體時,PowerEdge伺服器能夠顯著的提高數據負載的性能,同時減少延遲和I/O瓶頸。戴爾一體機可以作為一個獨立產品,也可以提供包括光纖通道和無線帶寬技術的高可用產品使用

小結


  • APS一體機是針對能夠支持PB級別大數據處理的產品,它專門針對BI和MPP數據分析負載,能夠計算進行分散式處理與並行操作,同時可以將非結構化數據融入到架構中。
  • 如果SQL Server一體機在你的考量範圍內,那麼根據不同的需求會為你提供多種選項。記住,這是一個快速變化的市場,在進行SQL Server一體機採購之前一定要事先做足功課。它們有很多優勢,但相應的價格也很高,你一定不想採購之後才發現它並不適合你的需求

 

 

 

 

 


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 在Ubuntu 下配置 Mysql 的字元編碼。安裝完 Mysql 後,系統預設的字元編碼是 latin1 ,輸入的是中文,可是輸出卻是一堆亂碼。現在要做的就是把 Mysql的預設字元編碼設置為支持中文的編碼,如 GBK、GB23112、等。 說正經的,我大天朝程式員開發麵臨的兩座智障大山是編碼問題 ...
  • 好記心不如爛筆頭,很多東西當時沒記下來,過了就忘了,下次用到時又得浪費好多時間才能解決。今天又遇到修改MySQL預設字元集編碼的問題,折騰了半天解決了,趕快記錄下來,以後就不用每次折騰了。 查看MySQL字元集的命令是“show variables like '%char%';”。 以MySQL5. ...
  • 這是如何使用SQL server來 編寫 資料庫 表的 操作方式 學習要點: SQL之-建庫、建表、建約束、關係SQL基本語句大全.txt舉得起放得下叫舉重,舉得起放不下叫負重。頭要有勇氣,抬頭要有底氣。學習要加,驕傲要減,機會要乘,懶惰要除。人生三難題:思,相思,單相思。SQL之-建庫、建表、建約 ...
  • 目錄: Prerequisites 集群配置規劃 創建域控伺服器 polybase install firewall config 集群配置 刪除計算節點 install Prerequisites Microsoft .NET Framework 4.5 Oracle Java SE RunTim ...
  • 在mysql 中,索引可以分為兩種類型 hash索引和 btree索引。 什麼情況下可以用到B樹索引? 1.全值匹配索引 比如: orderID="123” 2.匹配最左首碼索引查詢 比如:在userid 和 date欄位上創建聯合索引。 那麼如果輸入 userId作為條件,那麼這個userid可以... ...
  • PolyBase is a technology that accesses and combines(整合) both non-relational and relational data, all from within SQL Server. It allows you to run quer ...
  • K近鄰應用-異常檢測應用 原理: 根據數據樣本進行KMeans機器學習模型的建立,獲取簇心點,以簇為單位,離簇心最遠的第五個點的距離為閾值,大於這個值的為異常點,即獲得數據異常。 如圖: 數據樣本: 數據樣本的數據格式為:標號,特征值1,特征值2(沒有具體含義,自動生成的數據只為能夠簡單的說明異常檢 ...
  • DW一直以來是企業信息與決策支持系統的核心組件,隨著各類日誌、社交、感測等非結構化數據的加入,企業內部數據按指數級增長,傳統DW已經達到一個關鍵臨界點——需要大量的資源投入到硬體、優化、支持和維護中,當前大部分使用Apache Hadoop來處理各種來源的大數據,但傳統數據倉庫不允許最終用戶查詢非結 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...