DSC:數倉SQL腳本遷移的神奇工具

来源:https://www.cnblogs.com/huaweiyun/archive/2023/03/14/17215288.html
-Advertisement-
Play Games

摘要:本文介紹的DSC工具是針對資料庫切換時面臨的遷移任務而開發的免安裝命令行工具。目的是提供簡單、快速、可靠的SQL腳本遷移服務。 本文分享自華為雲社區《GaussDB(DWS)DSC工具系列:DSC工具初識【玩轉PB級數倉GaussDB(DWS)】》,作者:積少成多 。 DSC背景介紹與DSC介 ...


摘要:本文介紹的DSC工具是針對資料庫切換時面臨的遷移任務而開發的免安裝命令行工具。目的是提供簡單、快速、可靠的SQL腳本遷移服務。

本文分享自華為雲社區《GaussDB(DWS)DSC工具系列:DSC工具初識【玩轉PB級數倉GaussDB(DWS)】》,作者:積少成多 。

DSC背景介紹與DSC介紹

當客戶從其它資料庫切換到DWS資料庫時可能會面臨遷移任務,其中包括SQL腳本的遷移。SQL腳本的遷移是一個複雜、高風險、耗時的過程。DSC針對這種情況,應運而生。DSC(Database Schema Convertor)是一款可執行在Linux或Windows操作系統上的命令行工具。其目的便是提供簡單、快速、可靠的SQL腳本遷移服務,通過內置語法遷移邏輯將源資料庫SQL腳本轉換為適用於DWS資料庫的SQL腳本。

DSC的獲取與安裝

DSC的獲取可參考華為雲文檔:客戶端工具下載(https://support.huaweicloud.com/tg-dws/dws_07_0002.html)。官網提供DSC舊版本,新版DSC工具可通過support進行下載。(https://support.huawei.com/enterprise/zh/cloud-computing/hcs-dws-service-pid-251527524/software/258068937/?idAbsPath=fixnode01|22658044|7919788|9856606|251527524)

DSC是一款免安裝工具,下載壓縮包後解壓縮即可使用。關於DSC還有一些相關的硬體、軟體需求,詳情可以參考DSC的官方文檔進行瞭解。(https://support.huaweicloud.com/tg-dws/mt_tool_index.html)

DSC結構

DSC包含7個文件夾,一個runDSC.bat批處理可執行文件和一個runDSC.sh腳本文件。runDSC用於調用執行DSC程式。

DSC目錄結構文件如下:

界面即為命令行界面,切換路徑至runDSC.bat/runDSC.sh的同級目錄即可。其中bin文件夾下存儲DSC轉換邏輯的jar包,最終實現腳本轉換就是通過調用jar包實現。config文件夾下包含一些基礎配置,包含用戶可自定義配置遷移的文件。模塊包括MySQL、TD、Oracle,涉及自定義遷移內容根據模塊不同內容也不盡相同。MySQL模塊中,自定義配置內容包括預設資料庫名稱、索引名重命名、數據映射規則、函數轉換等內容。TD、Oracle中針對遷移過程中的不相容語法也有相應配置參數。lib文件夾下包含DSC使用的外部依賴。log文件夾下留存DSC轉換過程中的日誌記錄,包括dsc遷移日誌和遷移失敗日誌。日誌不會自動清空,每次執行DSC會對日誌進行追加寫。下次執行DSC命令時,需要手動刪除文件夾內內容進行日誌清空。input文件夾下存放要進行遷移的SQL腳本,output文件夾下為DSC進行轉換後的SQL腳本結果。scripts文件夾下包含一些自定義資料庫腳本,用戶可以使用自定義資料庫的SQL腳本從Teradata/Oracle遷移那些不直接存在於目標資料庫的關鍵字。如果需要用到,遷移之前,這些腳本必須在每個目標資料庫中執行一次。

DSC使用

用戶可在Windows和Linux操作系統中執行runDSC.sh或runDSC.bat命令進行遷移,命令格式如下:

./runDSC.sh 相關命令行參數(Linux操作系統) / runDSC.bat 相關命令行參數(Windows操作系統)

相關命令行參數包括以下8個:

DSC執行流程如下:

先根據源庫內容進行自定義功能配置,包括是否需要執行scripts目錄中包含一些自定義資料庫腳本,配置config中的自定義參數。然後命令行執行啟動命令,進行腳本SQL轉換,最後從輸出目錄獲取結果。如果遷移過程遇到問題,可以查看日誌。

結果展示界面(以MySQL為例):

MySQL遷移中,界面會顯示遷移路徑下總文件數,有效文件數,遷移成功文件數和遷移失敗文件數以及日誌存放路徑。不同模塊下顯示界面略有差異。

轉換結果展示(左為源文件內SQL,右為經DSC轉換後的結果):

常見問題彙總、歸納以及解決辦法

常見故障處理可見DSC官方手冊《DSC故障處理》一節。

在使用過程中常見的問題有以下幾個可供參考:

1、在安裝過程中,提示“ Root privileged users are not allowed to install the DSC for Linux. ”

解決辦法:擁有root許可權的用戶不得在Linux中安裝和執行DSC。建議使用沒有root許可權的用戶來安裝和操作DSC。

2、轉換結果中中文有亂碼

解決辦法:修改config中對應模塊下的編碼方式。以MySQL為例,修改config/features-mysql.properties中的table.database.encoding參數。以及建議將input路徑下的文件改為UTF8編碼方式規避中文亂碼。

3、SQL存在轉換失敗的問題:DSC手冊中記錄可轉換的內容轉換失敗或轉換錯誤。

解決辦法:先嘗試通過support獲取最新DSC工具,嘗試問題是否解決,如果問題未解決可聯繫相關維護人員支撐。

 

點擊關註,第一時間瞭解華為雲新鮮技術~


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • DNS功能變數名稱系統服務 1.DNS 介紹 1.1什麼是功能變數名稱? 功能變數名稱(Domain Name),簡稱功能變數名稱、網域,是由一串用點分隔的名字組成的Internet上某一臺電腦或電腦組的名稱,用於在數據傳輸時標識電腦的電子方位。具有獨一無二,不可重覆的特性。 1.2什麼是 DNS? 功能變數名稱系統(Domain ...
  • iptables是一個Linux內核中的包過濾工具,可以用來過濾、轉發、修改、控制網路流量等。如果想要將主機的所有流量轉發至其他機器,可以使用iptables進行配置。 以下是具體步驟: 1. 首先需要在其他機器上開啟轉發功能,可以使用以下命令開啟: echo 1 > /proc/sys/net/i ...
  • 初識 chrony chrony 是網路時間協議(Network Time Protocol )的通用實現 它不但可以提供保持系統時間與 NTP 時鐘伺服器同步的服務,還能作為 NTP 伺服器對其他伺服器提供時間同步服務 chrony 特點: 任何情況下都能穩定良好運行(例如不穩定的網路中、不穩定的 ...
  • 項目中有個需求是要對文本內容檢索並重寫,我們使用的是 WriteFile 覆蓋舊的文本內容 最小示例: #include <Windows.h> #include <iostream> int main() { HANDLE hFile = CreateFile(L"File.txt", // Op ...
  • Linux操作系統是一種多任務、多用戶的操作系統,這意味著它可以同時運行多個進程,每個進程都可以執行不同的任務。 在本文中,我們將介紹如何在Linux系統中創建和銷毀進程。 進程的創建 在Linux系統中,進程的創建可以通過fork()系統調用來實現。 fork()函數將當前進程複製一份,創建一個新 ...
  • Linux文件許可權管理介紹 一:Ubuntu 簡介 1 、什麼是Ubuntu Ubuntu是基於Debian開發的一個開源的Linux操作系統,Ubuntu這個名字名稱來⾃⾮洲南部某種語言的一個詞語,Ubuntu每6個月會發佈⼀個新版本,每隔兩年,在四月份的時候,會推出⼀個⻓期⽀持版本(LTS)。其 ...
  • 第一步就是安裝 為了節省資源,運行起來更快捷,首先是在電腦上安裝好vm虛擬機, 新建虛擬機,安裝xp,也就是把xp光碟文件導入, 接著在虛擬機中下載oracle,解壓的話會用到WinRAR,也一併導入虛擬機C盤 然後在主機上,安裝客戶端client,plsql, 打開虛擬機中的監聽,連接資料庫, 登 ...
  • 摘要:本文主要為大家帶來Mysql中的3種數據類型和3種運算符。 本文分享自華為雲社區《Mysql中的數據類型和運算符》,作者: 1+1=王。 Mysql的數據類型 Mysql支持數值型、文本型和日期時間型三大數據類型。 數值型數據 數值型是描述定量數據的數據類型,包括整數型數據類型和浮點型數據類型 ...
一周排行
    -Advertisement-
    Play Games
  • 在本篇教程中,我們學習瞭如何使用 Taurus.MVC WebMVC 框架創建一個簡單的頁面。 我們創建了一個控制器並編寫了一個用於呈現頁面的方法,然後創建了對應的視圖,並最終成功運行了應用程式。 在下一篇教程中,我們將繼續探索 Taurus.MVC WebMVC 框架的更多功能和用法。 ...
  • 一:背景 1. 講故事 很多.NET開發者在學習高級調試的時候,使用sos的命令輸出會發現這裡也看不懂那裡也看不懂,比如截圖中的這位朋友。 .NET高級調試屬於一個偏冷門的領域,國內可觀測的資料比較少,所以很多東西需要你自己去探究源代碼,然後用各種調試工具去驗證,相關源代碼如下: coreclr: ...
  • 我一直都以為c中除以2的n次方可以使用右移n位代替,然而在實際調試中發現並不都是這樣的。是在計算餘數是發現了異常 被除數:114325068 右移15計算結果:3488 除法取整計算結果:3489 右移操作計算餘數:33772 除法取整計算餘數:1005 顯然:這是不一樣的。 移位操作是一條cpu指 ...
  • 在上一篇文章中,我們介紹了ReentrantLock類的一些基本用法,今天我們重點來介紹一下ReentrantLock其它的常用方法,以便對ReentrantLock類的使用有更深入的理解。 ...
  • Excelize 是 Go 語言編寫的用於操作電子錶格辦公文檔的開源基礎庫,2024年2月26日,社區正式發佈了 2.8.1 版本,該版本包含了多項新增功能、錯誤修複和相容性提升優化。 ...
  • 雲採用框架(Cloud Adoption Framework,簡稱CAF)為企業上雲提供策略和技術的指導原則和最佳實踐,幫助企業上好雲、用好雲、管好雲,併成功實現業務目標。本雲採用框架是基於服務大量企業客戶的經驗總結,將企業雲採用分為四個階段,並詳細探討企業應在每個階段採取的業務和技術策略;同時,還 ...
  • 與TXT文本文件,PDF文件更加專業也更適合傳輸,常用於正式報告、簡歷、合同等場合。項目中如果有使用Java將TXT文本文件轉為PDF文件的需求,可以查看本文中介紹的免費實現方法。 免費Java PDF庫 本文介紹的方法需要用到Free Spire.PDF for Java,該免費庫支持多種操作、轉 ...
  • 指針和引用 當我們需要在程式中傳遞變數的地址時,可以使用指針或引用。它們都可以用來間接訪問變數,但它們之間有一些重要的區別。 指針是一個變數,它存儲另一個變數的地址。通過指針,我們可以訪問存儲在該地址中的變數。指針可以被重新分配,可以指向不同的變數,也可以為NULL。指針使用*運算符來訪問存儲在地址 ...
  • 即使再小再簡單的需求,作為研發開發完畢之後,我們可以直接上線麽?其實很多時候事故往往就是由於“不以為意”發生的。事故的發生往往也遵循“墨菲定律”,這就要求我們更要敬畏線上,再小的需求點都需要經過嚴格的測試驗證才能上線。 ...
  • 這裡給大家分享我在網上總結出來的一些知識,希望對大家有所幫助 一、是什麼 許可權是對特定資源的訪問許可,所謂許可權控制,也就是確保用戶只能訪問到被分配的資源 而前端許可權歸根結底是請求的發起權,請求的發起可能有下麵兩種形式觸發 頁面載入觸發 頁面上的按鈕點擊觸發 總的來說,所有的請求發起都觸發自前端路由或 ...