Babelfish for PostgreSQL

来源:https://www.cnblogs.com/88223100/archive/2022/11/17/Babelfish-for-PostgreSQL.html
-Advertisement-
Play Games

Babelfish for PostgreSQL開源已快一月，不過全網還沒有實踐者總結。今天我們就測試看看，Babelfish到底是如何部署與使用的！ ...


 

 

Babelfish for PostgreSQL開源已快一月，不過全網還沒有實踐者總結。今天我們就測試看看，Babelfish到底是如何部署與使用的！

 

Babelfish for PostgreSQL介紹

我們先回顧Babelfish for PostgreSQL的基本架構，如下圖：

 

Babelfish是一種擴展，它的存儲庫是PostgreSQL。Babelfish支持T-SQL協議、T-SQL語言、TDS協議等。這就使我們可以使用T-SQL語法對PostgreSQL資料庫進行操作。而這個插件的最強優勢就是，以最大相容性/最小更改去遷移MSSQL到PostgreSQL。當然，你也用在 MSSQL中操作PostgreSQL資料庫，功能類似MSSQL的鏈接伺服器或PolyBase。

Babelfish支持TDS協議版本7.1及更高版本，即支持Microsoft SQL Server 2000及以上版本。支持的PostgreSQL版本為PostgreSQL 13及以上版本。Babelfish作為PostgreSQL的一部分運行，預設情況下，資料庫伺服器將在埠5432上偵聽PostgreSQL，在預設情況下在埠1433上偵聽TDS。接下來，你就可以使用sqlcmd通過1433連接至TDS埠。

 

部署Babelfish for PostgreSQL

為了部署Babelfish，我專門下載了Ubuntu 21.10並使用虛擬機安裝了該系統。

筆者也曾使用CentOS 7編譯安裝，但是Babelfish似乎還不相容，編譯了一周也沒完成。否則當前文章該提早兩周面世。

跟著一步步來，即可實現Babelfish的使用，這比官網更詳細一些。

安裝相關依賴。我們需要一個具有root許可權的用戶，可以sudo切換。

apt-get update
apt-get install -y build-essential flex libxml2-dev bison libreadline-dev zlib1g-dev libxslt-dev
apt-get install -y uuid-dev pkg-config libossp-uuid-dev libssl-dev icu-devtools gettext
apt-get install -y openjdk-8-jre unzip libutfcpp-dev curl openssl python-dev libpq-dev pkgconf

下載存儲庫。我們需要Babelfish for PostgreSQL引擎源碼及Babelfish擴展包源碼。

git clone https://github.com/babelfish-for-postgresql/postgresql_modified_for_babelfish.git
git clone https://github.com/babelfish-for-postgresql/babelfish_extensions.git

mv babelfish_extensions /opt/babelfish_extensions
mv postgresql_modified_for_babelfish /opt/postgresql_modified_for_babelfish

接下來，我們就開始編譯安裝吧。

#創建安裝目錄
INSTALLATION_PATH=/usr/local/pgsql 
mkdir "$INSTALLATION_PATH"

#構建配置
cd /opt/postgresql_modified_for_babelfish

./configure CFLAGS="-ggdb" \
--prefix=${INSTALLATION_PATH} \
--enable-debug \
--with-libxml \
--with-uuid=ossp \
--with-icu \
--with-extra-version="Babelfish for PostgreSQL"

#編譯安裝
cd /opt/postgresql_modified_for_babelfish
make            # Compiles the Babefish PostgreSQL engine

cd contrib 
make            # Compiles the PostgreSQL default extensions

cd ..
make install    # Installs the Babelfish PostgreSQL engine

cd contrib
make install    # Installs the PostgreSQL default extensions

對於Antlr4 4.9.2 Runtime，Ubuntu中沒有可用的C++二進位文件，因此有必要從源代碼編譯它。4.9以下的版本官方尚未完全測試。要安裝Antlr4 Runtime，我們需要有Antlr4 .jar。

Babelfish擴展源代碼在路徑中包含這個 

.jar（/contrib/babelfishpg_tsql/antlr/thirdparty/antlr）

現在我們安裝cmake和Antlr4：

#安裝 cmake
curl -L https://github.com/Kitware/CMake/releases/download/v3.20.6/cmake-3.20.6-linux-x86_64.sh --output ~/cmake-3.20.6-linux-x86_64.sh
chmod +x ~/cmake-3.20.6-linux-x86_64.sh
~/cmake-3.20.6-linux-x86_64.sh --prefix=/usr/local --skip-license
cp /usr/local/bin/cmake /usr/bin/

#安裝 Antlr4
curl https://www.antlr.org/download/antlr4-cpp-runtime-4.9.2-source.zip --output ~/antlr4-cpp-runtime-4.9.2-source.zip 
unzip -d /opt/antlr4 ~/antlr4-cpp-runtime-4.9.2-source.zip
mkdir /opt/antlr4/build 
cd /opt/antlr4/build 

EXTENSIONS_SOURCE_CODE_PATH="/opt/babelfish_extensions"

cmake .. -DANTLR_JAR_LOCATION="$EXTENSIONS_SOURCE_CODE_PATH/contrib/babelfishpg_tsql/antlr/thirdparty/antlr/antlr-4.9.2-complete.jar" \
  -DCMAKE_INSTALL_PREFIX=/usr/local -DWITH_DEMO=True

make
make install

cp /usr/local/lib/libantlr4-runtime.so.4.9.2 "$INSTALLATION_PATH/lib"

編譯Antlr4時可能存在一個bug，因為文件gtest-death-test.cc中的變數dummy未賦值，make將報錯並終止，你可以給該變數賦值。

 

構建和安裝Babelfish擴展

我們已經安裝了Babelfish for PostgreSQL引擎，還需要設置幾個環境變數，接下來才繼續構建擴展。

 

  • PG_CONFIG：指向在Babelfish平臺PostgreSQL的引擎安裝pg_config文件的位置。

  • PG_SRC：指向Babelfish for PostgreSQL引擎源文件夾的位置。

  • cmake：指向包含cmake二進位文件的路徑

export PG_CONFIG=$INSTALLATION_PATH/bin/pg_config
export PG_SRC=/opt/postgresql_modified_for_babelfish
export cmake=/usr/local/bin/cmake

編譯擴展：

# Install babelfishpg_money extension
cd /opt/babelfish_extensions/contrib/babelfishpg_money
make
make install

# Install babelfishpg_common extension
cd ../babelfishpg_common
make 
make install

# Install babelfishpg_tds extension
cd ../babelfishpg_tds
make 
make install

# Installs the babelfishpg_tsql extension
cd ../babelfishpg_tsql
make 
make install

 

初始化及配置PostgreSQL

以上Babelfish引擎及Babelfish擴展部署完成後，現在我們就該初始化PostgreSQL資料庫實例了。在啟動Babelfish之前，我們需要在安裝文件夾中做一些更改。這是因為如果所有者具有root訪問許可權，PostgreSQL將不會啟動。此外，我們需要為PostgreSQL創建一個目錄和用戶。

#創建獨立用戶 postgres
mkdir -p $INSTALLATION_PATH/data
adduser --disabled-password --gecos "" postgres
chown -R postgres:postgres $INSTALLATION_PATH

# 初始化數據並配置
su postgres
INSTALLATION_PATH=/usr/local/pgsql 
$INSTALLATION_PATH/bin/initdb -D $INSTALLATION_PATH/data

vim $INSTALLATION_PATH/data/postgresql.conf 
listen_addresses = '*'
port = 5432
shared_preload_libraries = 'babelfishpg_tds'

vim $INSTALLATION_PATH/data/pg_hba.conf
host    all             all             0.0.0.0/0               md5
#啟動 PostgreSQL
$INSTALLATION_PATH/bin/pg_ctl -D $INSTALLATION_PATH/data start

 

連接Babelfish操作

都部署完成後，我們現在可以連接Babelfish了。在Linux環境下，可以使用psql、tsql、sqlcmd這三個客戶端工具連接。當然，你也可以在Windows環境使用SQL Server Management Studio(SSMS)來連接。

Ubuntu安裝3個客戶端工具：

apt-get install -y postgresql-client  

apt-get install -y freetds-bin

lsb_release -a
curl https://packages.microsoft.com/keys/microsoft.asc | sudo apt-key add -
curl https://packages.microsoft.com/config/ubuntu/21.04/prod.list | sudo tee /etc/apt/sources.list.d/msprod.list
apt-get update
apt-get install -y mssql-tools unixodbc-dev
echo 'export PATH="$PATH:/opt/mssql-tools/bin"' >> ~/.bash_profile
echo 'export PATH="$PATH:/opt/mssql-tools/bin"' >> ~/.bashrc
source ~/.bashrc

現在，我們先使用psql通過5432埠連接至PostgreSQL，同時創建一個用戶來進行測試。

其中migration_mode有2種模式，在single-db的情況下，MS SQL資料庫被映射到PostgreSQL中的模式。在multi-db情況下，可使用多個資料庫。

#使用psql連接Babelfish並創建用戶jeeson和資料庫demo
psql -h 127.0.0.1 -p 5432 -d postgres -U postgres
SELECT version();

create user jeeson superuser password 'YourNewStrong@Passw0rd';
create database demo owner jeeson;
\c demo
create extension if not exists "babelfishpg_tds" cascade;
alter system set babelfishpg_tsql.database_name = 'demo';
alter database demo set babelfishpg_tsql.migration_mode = 'multi-db';
select pg_reload_conf();
call sys.initialize_babelfish('jeeson');

#使用tsql或sqlcmd連接至Babelfish
tsql -S 127.0.0.1 -p 1433 -U jeeson -P "YourNewStrong@Passw0rd"

sqlcmd -S 127.0.0.1,1433 -U jeeson -P "YourNewStrong@Passw0rd"

我們創建了一個資料庫demo，以及一個用戶jeeson。現在，我們使用tsql和sqlcmd通過1433埠連接到Babelfish看看。

 

 

是不是很神奇？不要以為僅僅是連接到PostgreSQL，它可是用SQL Server的T-SQL語法進行操作的。當你要把SQL Server資料庫遷移到PostgreSQL時，只需把SQLServer的生成的SQL腳本執行即可。

對於習慣使用SQL Server Management Studio的同學，也可以在Windows中直接連接哦。不過需要註意的是，不是通過資源管理器連接伺服器，而是只打開一個新查詢視窗進行連接！ 

 

 對於用戶來說，Babelfish相容PostgreSQL語法。而對SQL Server來看，就像一個閹割版的雲產品一樣。

其實，對於非運維人員，常用的T-SQL已經足夠適用。

Babelfish有一個名為Babelfish Compass的評估工具，可幫助人們驗證SQLServer的遷移。

只需在DDL上運行 Compass工具，它能確認Babelfish對T-SQL代碼的支持程度、識別在執行Babelfish之前可能需要更改的T-SQL代碼。

 

本文來自博客園，作者：古道輕風，轉載請註明原文鏈接：https://www.cnblogs.com/88223100/p/Babelfish-for-PostgreSQL.html


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • C#多線程（三）線程高級篇
    前言 拋開死鎖不談，只聊性能問題，儘管鎖總能粗暴的滿足同步需求，但一旦存在競爭關係，意味著一定會有線程被阻塞，競爭越激烈，被阻塞的線程越多，上下文切換次數越多，調度成本越大，顯然在高併發的場景下會損害性能。在高併發高性能且要求線程安全的述求下，無鎖構造（非阻塞構造）閃亮登場。 參考文檔： C# - ...
  • C#多線程（一）線程基礎篇
    線程基礎 視頻已經發佈到B站 參考文章： 《Threading in C# 》（Joseph Albahari）https://www.albahari.com/threading/ 《Threading in C# 》中文翻譯（GKarch ）：https://blog.gkarch.com/to ...
  • Linux記憶體泄露案例分析和記憶體管理分享
    作者：李遵舉 一、問題 近期我們運維同事接到線上LB（負載均衡）服務記憶體報警，運維同事反饋說LB集群有部分機器的記憶體使用率超過80%，有的甚至超過90%，而且記憶體使用率還再不停的增長。接到記憶體報警的消息，讓整個團隊都比較緊張，我們團隊負責的LB服務是零售、物流、科技等業務服務的流量入口，承接上萬個服 ...
  • STM32F7xx外設驅動5-uart（寄存器）
    //源文件 void UartGpioConfig() { RCC->AHB1ENR |= (1<<3); //使能GPIOD RCC->APB1ENR |= (1<<18); //使能USART3 RCC->APB2ENR |= //PD8 TXD GPIOD->MODER |= (2<<16); ...
  • STM32F7xx外設驅動4-timer（寄存器）
    //源文件 void TimerPhyConfig() { RCC->APB1ENR |= (1<<1); //使能Timer3 TIM3->ARR = arr; TIM3->PSC = psc; TIM3->DIER = (1<<0); //Update interrupt enabled TIM ...
  • 大數據技術的現狀與面臨的挑戰
    本文主要從技術層面探討大數據目前的現狀以及面臨的挑戰。在此之前，如果你對大數據的概念還比較模糊，可閱讀什麼是大數據一文瞭解。 如何定義大數據 目前我們已經瞭解到，大數據是由於數據量的巨大增長而產生的。所以，“大數據”一詞主要描述的是規模巨大的混合數據集，這種數據集是結構化與非結構化數據的融合。 通常 ...
  • 5種GaussDB ETCD服務異常實例分析處理
    摘要：一文帶你細數幾種ETCD服務異常實例狀態。 本文分享自華為雲社區《【實例狀態】GaussDB ETCD服務異常》，作者：酷哥 。 首先確認是否是虛擬機、網路故障 虛擬機故障導致ETCD服務異常告警 問題現象 管控面上報etcd服務異常告警，虛擬機發生重啟，熱遷移、冷遷移，HA等動作。 問題分析 ...
  • 袋鼠雲數棧UI5.0體驗升級背後的故事：可用性原則與交互升級
    最近，我們袋鼠雲的UED部⻔小伙伴們，不聲不響地⼲了⼀件⼤事——升級了全新設計語言「數棧UI5.0」。 眾所周知，用戶在使用產品時，是一個動態的過程，用戶和產品之間進行交互的可用性，能否讓用戶愉悅、快速地在產品內達成目的，直接影響用戶使用產品的體驗。 在設計中，有一個廣泛的經驗法則被稱為「尼爾森十大 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發（一）：使用.NET MAUI開發第一個安卓APP
    移動開發（一）：使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說，近來想嘗試開發一款安卓APP，考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP，畢竟是使用Visual Studio開發工具，使用起來也比較的順手，結合微軟官方的教程進行了安卓 ...
  • wpf ToggleButton選中效果和一個登錄界面
    前言 QuestPDF 是一個開源 .NET 庫，用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫，它徹底改變了我們生成 PDF 文檔的方 ...
  • 彈幕樹洞項目功能新增篇
    項目地址 項目後端地址： https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址： ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址： http://tree ...
  • 第27篇 sqlserver2022詳細安裝步驟
    話不多說，直接開乾 一.下載 1.官方鏈接下載： https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe，運行開始下載SQL server； 二. ...
  • .NET 開源高性能 MQTT 類庫
    前言 隨著物聯網（IoT）技術的迅猛發展，MQTT（消息隊列遙測傳輸）協議憑藉其輕量級和高效性，已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫，為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog文檔翻譯系列（六） - 可用的接收器、增強器、格式化輸出
    Serilog支持多種接收器用於日誌存儲，增強器用於添加屬性，LogContext管理動態屬性，支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項，適用於不同需求。 ...
  • 警惕 Visual Studio 屬性求值副作用導致邏輯不符合預期
    目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據，爬取信息時需要模擬瀏覽器行為，否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下： 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • [使用目前最新版]HybridCLR6.9.0+YooAsset2.2.4實現純C# Unity熱更新方案 (一)
    1.前言 什麼是熱更新 游戲或者軟體更新時，無需重新下載客戶端進行安裝，而是在應用程式啟動的情況下，在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR，Xlua，ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles，Addressable， ...
  • 在 ASP.NET Core Web API 中使用操作篩選器統一處理通用操作
    本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺，其實像阿裡雲，騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後，它會送 ...
  • 第28篇 如何.net中實現高效可靠數據同步api
    通過以下方式可以高效，並保證數據同步的可靠性 1.API設計 使用RESTful設計，確保API端點明確，並使用適當的HTTP方法（如POST用於創建，PUT用於更新）。 設計清晰的請求和響應模型，以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證，確保接收到的數據符合預期格 ...
所有分類