SSIS 數據類型和類型轉換

来源:http://www.cnblogs.com/ljhdo/archive/2016/10/13/5174681.html
-Advertisement-
Play Games

在進行ETL開發時,數據類型(Data Type)是最基礎的,但也容易被忽略,樓主使用的SQL Server 版本是2012,用此博文記錄,常用的SSIS數據類型和TSQL數據類型的映射關係。SSIS的數據類型,主要是指數據流(Data Flow)數據類型和變數(Variable)數據類型。 當數據 ...


在進行ETL開發時,數據類型(Data Type)是最基礎的,但也容易被忽略,樓主使用的SQL Server 版本是2012,用此博文記錄,常用的SSIS數據類型和TSQL數據類型的映射關係。SSIS的數據類型,主要是指數據流(Data Flow)數據類型和變數(Variable)數據類型。

當數據進入Package的data flow task中時,SSIS 通過數據源組件從數據源抽取(extract)數據,獲取元數據類型,並轉換成SSIS支持的數據類型,SSIS的數據類型主要分為三類:字元(string),數值(numeric)和日期/時間(date/time),如果源數據類似不能轉換成相應的SSIS 數據類型,SSIS Engine就會報錯。SSIS的數據類型,以“DT_”開頭,是Data Type的簡寫。

一,SSIS 數據流的數據類型和TSQL數據類型的映射

1,字元類型

字元類型用於存儲字元串,在SQL Server中,使用單引號表示一個字元,但是在SSIS中,使用雙引號表示一個字元串。

SSIS的字元類型和TSQL的數據類型的對應關係:

  • DT_STR:對應TSQL的 varchar, char
  • DT_WSTR:對應TSQL的 nchar, nvarchar, sql_variant, xml

2,數值類型

數值類型分為整數和小數,SSIS的整數類型和TSQL數據類型的對應關係:

  • DT_BOOL:bit
  • DT_UI1:tinyint,占用一個位元組,非負整數,數值範圍是:0-255
  • DT_I2:smallint,占用2個位元組,有符號整數
  • DT_I4:int,占用4個位元組,有符號整數
  • DT_I8:bigint,占用8個位元組,有符號整數
  • DT_BYTES:binary, varbinary, timestamp

TSQL的小數數值類型分為兩類:精確小數(decimal)和近似小數(float),小數也叫實數(real),SSIS的小數類型和TSQL數據類型的對應關係:

  • DT_NUMERIC:精確小數,decimal
  • DT_R4:近似小數,float(24)
  • DT_R8:近似小數,float(53)

3,日期時間類型

SSIS的日期時間類型和TSQL數據類型的對應關係:

  • DT_DBDATE:date
  • DT_DBTIME2:time(p)
  • DT_DBTIMESTAMP:datetime
  • DT_DBTIMESTAMP2:datetime2

SSIS 內置函數:GETDATE() 和 GETUTCDATE() 返回值的數據類型是DT_DBTIMESTAMP,對應TSQL的DateTime,因此,只保留3位毫秒。在Expression Builder中,將時間類型轉換成字元串類型,顯示的毫秒數有效數值只有3位,末尾補6個0,共9位:

  • (DT_WSTR,30) GETDATE(),Evaluated Value是:2016-10-13 17:04:01.765000000
  • (DT_DBTIMESTAMP2,7) GETDATE(),Evaluated Value是:10/13/2016 5:01:54 PM

二,強制類型轉換

SSIS在進行表達式求值時,自動將一個數據類型隱式轉換成相相容的另外一個數據類型,如果類型不相容,必須強制類型轉換,否則,SSIS報錯。對數據進行強制類型轉換的格式是:(type) expression,在進行顯式類型轉換時,儘量使用窄的數據類型,這樣能夠提高數據傳輸的速度;但是,數據轉換需要付出一定的代價,因此,必須權衡類型轉換和數據傳輸對性能的影響。

An implicit conversion of a data type occurs when the expression evaluator automatically converts the data from one data type to another. If the data in a column does not require the full width allocated by the source data type, you might want to change the data type of the column. Making each data row as narrow as possible helps optimize performance when transferring data because the narrower each row is, the faster the data is moved from source to destination.

1,將字元串轉換成TSQL的日期/時間類型

在SSIS中,字元串常量使用雙引號“”,[] 表示可選:

  • 轉換成date:(DT_DBDATE)"yyyy-mm-dd"
  • 轉換成time(n):(DT_DBTIME2,n)"hh:mm:ss[.fffffff]"
  • 轉換成datetime:(DT_DBTIMESTAMP)"yyyy-mm-dd hh:mm:ss[.fff]"
  • 轉換成datetime2(n):(DT_DBTIMESTAMP2,n)"yyyy-mm-dd hh:mm:ss[.fffffff]"

2,轉換成字元串

字元串分為雙位元組字元和單位元組字元,對於單位元組字元,SSIS使用 DT_STR 表示,在強制類型轉換時,必須制定code page和字元長度:

  • 將整數5轉換為單位元組字元:(DT_STR,30,1252)5
  • 將整數5轉換為雙位元組字元:(DT_WSTR,30)5
  • 將 DT_DBTIMESTAMP 類型轉換成字元串:(DT_WSTR,30)GETDATE(),返回的數據格式是: 2016-10-13 14:55:31.248000000,GETDATE()返回的數據類型是DT_DBTIMESTAMP;

3,數值類型轉換

  • 將字元串轉換成bit:(DT_BOOL)"True"
  • 將小數轉換成int:(DT_I4) 3.57
  • 將整數轉化成精確小數:(DT_NUMERIC,7,3)4000

三,SSIS 變數(Variable)的數據類型和TSQL數據類型的映射

SSIS 變數的數據類型,不同於SSIS的數據類型,但都和SSIS的數據類型相相容,在進行表達式求值時,SSIS自動將變數的數據類型隱式轉換成SSIS的數據類型,然後進行求值。

Variables have a Variant data type and the expression evaluator converts the data type of a variable from a Variant subtype to an Integration Services data type before it evaluates the expression. 

1,字元數據類型

字元變數和TSQL數據類型的映射關係:

  • String:char,nchar,varchar(n),nvarchar(n)
  • object:varchar(max),nvarchar(max)

2,數值類型

數值類型的變數和TSQL數據類型的映射關係:

  • Boolean:bit
  • Int64:bigint
  • Int32:int
  • Int16:smallint
  • Byte:tinyint
  • object:binary, varbinary(n), varbinary(max)
  • 精確小數:Decimal 在SQL Server 2012以後,對應TSQL的decimal
  • 近似小數:Single 對應TSQL的float(24),  Double 對應TSQL的float(53)

3,日期/時間類型

日期/時間類型的變數和TSQL數據類型的映射關係:

  • DateTime:對應TSQL的datetime
  • Object:對應TSQL的time,date,datetime2

 

參考文檔:

Integration Services (SSIS) Expressions

Cast (SSIS Expression)

Integration Services Data Types

SQL Server Integration Services, Data Type Mapping


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 最近遇到一個問題,用戶數據丟失,拿到用戶資料庫文件以後,發現資料庫損壞。database disk image is malformed因此希望可以找到一種方法,可以檢測出來資料庫是否損壞,經過google,找到了一種方法,先記錄下來。+ (BOOL)checkIntegrity { NSStrin... ...
  • 目錄: 數學函數 統計函數 應用示例 控制流 數學函數 ceiling(x): 大於等於 x 的最小整數, 如: ceiling(3.213) --> 4 floor(x): 小於等於 x 的最大整數,如: floor(3.6534) --> 3 trunc(x): 取x的整數部分, 如: trun ...
  • 新浪微博:intsmaze劉洋洋哥 KafkaSpout的核心邏輯都是由PartitionManager來實現的。但是這個類實現時候需要考慮的東西有些多,0.92至0.93,至當前(2015.3.14)的master一直在變化。在這裡,先分析一下最近的發佈版0.93里的邏輯。也提出一些問題,希望以後 ...
  • 《SQL學習指南》中的第10章 1.4 外連接 在多表連接中,存在連接條件可能無法表中所有的行匹配的問題,例如當account表與customer表進行連接時,會存在account表中cust_id列值無法匹配customer表中的cust_id列值,內連接在無法匹配成功時,是不會將這條匹配失敗的結 ...
  • 函數索引 1.1 概述 在實際應用中,當條件列使用函數運算進行數據匹配時,即使該列建立了索引,索引也不會被使用。 如下示例,其中在owner列上建立一個普通b-tree索引,觀察兩種查詢方式(不使用UPPER函數及使用UPPER函數)的執行計劃的區別。 通過上面的示例可以看到,即使條件列建立了索引, ...
  • 由於項目需要MongoDB做為存儲資料庫,在學習過程碰上疑難雜症,心痛如海,故此終於開始書寫博客之路。 操作MongoDB類庫版本: 連接字元串的相關變化: 沒有安全認證的URL:mongodb://127.0.0.1:27017 加上安全認證的URL:mongodb://[userName]:[u ...
  • 現在MyBatis越來越受大家的喜愛了,它的優勢大家都知道,我就不多說了,直接說重點。 MyBatis中提供動態SQL功能,我們可以使用<if><when><where><otherwise><foreach>等等,這樣我們就可以寫出根據條件生成的動態SQL了,但是,在這中間,我們經常用到的<if> ...
  • 才參加工作不久,很多代碼習慣還沒養成,昨天按要求寫的資料庫基本增刪改查操作,在使用這些方法的時候,雖然能實現功能,但是效率低下,還可能產生記憶體問題,今天被項目經理一頓教育,在此記錄學到的教訓。 mybatis中重覆的代碼使用sql和include標簽進行封裝和調用 資料庫操作使用的是mybatis框 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...