Babelfish for PostgreSQL

来源:https://www.cnblogs.com/88223100/archive/2022/11/17/Babelfish-for-PostgreSQL.html
-Advertisement-
Play Games

Babelfish for PostgreSQL開源已快一月，不過全網還沒有實踐者總結。今天我們就測試看看，Babelfish到底是如何部署與使用的！ ...


 

 

Babelfish for PostgreSQL開源已快一月，不過全網還沒有實踐者總結。今天我們就測試看看，Babelfish到底是如何部署與使用的！

 

Babelfish for PostgreSQL介紹

我們先回顧Babelfish for PostgreSQL的基本架構，如下圖：

 

Babelfish是一種擴展，它的存儲庫是PostgreSQL。Babelfish支持T-SQL協議、T-SQL語言、TDS協議等。這就使我們可以使用T-SQL語法對PostgreSQL資料庫進行操作。而這個插件的最強優勢就是，以最大相容性/最小更改去遷移MSSQL到PostgreSQL。當然，你也用在 MSSQL中操作PostgreSQL資料庫，功能類似MSSQL的鏈接伺服器或PolyBase。

Babelfish支持TDS協議版本7.1及更高版本，即支持Microsoft SQL Server 2000及以上版本。支持的PostgreSQL版本為PostgreSQL 13及以上版本。Babelfish作為PostgreSQL的一部分運行，預設情況下，資料庫伺服器將在埠5432上偵聽PostgreSQL，在預設情況下在埠1433上偵聽TDS。接下來，你就可以使用sqlcmd通過1433連接至TDS埠。

 

部署Babelfish for PostgreSQL

為了部署Babelfish，我專門下載了Ubuntu 21.10並使用虛擬機安裝了該系統。

筆者也曾使用CentOS 7編譯安裝，但是Babelfish似乎還不相容，編譯了一周也沒完成。否則當前文章該提早兩周面世。

跟著一步步來，即可實現Babelfish的使用，這比官網更詳細一些。

安裝相關依賴。我們需要一個具有root許可權的用戶，可以sudo切換。

apt-get update
apt-get install -y build-essential flex libxml2-dev bison libreadline-dev zlib1g-dev libxslt-dev
apt-get install -y uuid-dev pkg-config libossp-uuid-dev libssl-dev icu-devtools gettext
apt-get install -y openjdk-8-jre unzip libutfcpp-dev curl openssl python-dev libpq-dev pkgconf

下載存儲庫。我們需要Babelfish for PostgreSQL引擎源碼及Babelfish擴展包源碼。

git clone https://github.com/babelfish-for-postgresql/postgresql_modified_for_babelfish.git
git clone https://github.com/babelfish-for-postgresql/babelfish_extensions.git

mv babelfish_extensions /opt/babelfish_extensions
mv postgresql_modified_for_babelfish /opt/postgresql_modified_for_babelfish

接下來，我們就開始編譯安裝吧。

#創建安裝目錄
INSTALLATION_PATH=/usr/local/pgsql 
mkdir "$INSTALLATION_PATH"

#構建配置
cd /opt/postgresql_modified_for_babelfish

./configure CFLAGS="-ggdb" \
--prefix=${INSTALLATION_PATH} \
--enable-debug \
--with-libxml \
--with-uuid=ossp \
--with-icu \
--with-extra-version="Babelfish for PostgreSQL"

#編譯安裝
cd /opt/postgresql_modified_for_babelfish
make            # Compiles the Babefish PostgreSQL engine

cd contrib 
make            # Compiles the PostgreSQL default extensions

cd ..
make install    # Installs the Babelfish PostgreSQL engine

cd contrib
make install    # Installs the PostgreSQL default extensions

對於Antlr4 4.9.2 Runtime，Ubuntu中沒有可用的C++二進位文件，因此有必要從源代碼編譯它。4.9以下的版本官方尚未完全測試。要安裝Antlr4 Runtime，我們需要有Antlr4 .jar。

Babelfish擴展源代碼在路徑中包含這個 

.jar（/contrib/babelfishpg_tsql/antlr/thirdparty/antlr）

現在我們安裝cmake和Antlr4：

#安裝 cmake
curl -L https://github.com/Kitware/CMake/releases/download/v3.20.6/cmake-3.20.6-linux-x86_64.sh --output ~/cmake-3.20.6-linux-x86_64.sh
chmod +x ~/cmake-3.20.6-linux-x86_64.sh
~/cmake-3.20.6-linux-x86_64.sh --prefix=/usr/local --skip-license
cp /usr/local/bin/cmake /usr/bin/

#安裝 Antlr4
curl https://www.antlr.org/download/antlr4-cpp-runtime-4.9.2-source.zip --output ~/antlr4-cpp-runtime-4.9.2-source.zip 
unzip -d /opt/antlr4 ~/antlr4-cpp-runtime-4.9.2-source.zip
mkdir /opt/antlr4/build 
cd /opt/antlr4/build 

EXTENSIONS_SOURCE_CODE_PATH="/opt/babelfish_extensions"

cmake .. -DANTLR_JAR_LOCATION="$EXTENSIONS_SOURCE_CODE_PATH/contrib/babelfishpg_tsql/antlr/thirdparty/antlr/antlr-4.9.2-complete.jar" \
  -DCMAKE_INSTALL_PREFIX=/usr/local -DWITH_DEMO=True

make
make install

cp /usr/local/lib/libantlr4-runtime.so.4.9.2 "$INSTALLATION_PATH/lib"

編譯Antlr4時可能存在一個bug，因為文件gtest-death-test.cc中的變數dummy未賦值，make將報錯並終止，你可以給該變數賦值。

 

構建和安裝Babelfish擴展

我們已經安裝了Babelfish for PostgreSQL引擎，還需要設置幾個環境變數，接下來才繼續構建擴展。

 

  • PG_CONFIG：指向在Babelfish平臺PostgreSQL的引擎安裝pg_config文件的位置。

  • PG_SRC：指向Babelfish for PostgreSQL引擎源文件夾的位置。

  • cmake：指向包含cmake二進位文件的路徑

export PG_CONFIG=$INSTALLATION_PATH/bin/pg_config
export PG_SRC=/opt/postgresql_modified_for_babelfish
export cmake=/usr/local/bin/cmake

編譯擴展：

# Install babelfishpg_money extension
cd /opt/babelfish_extensions/contrib/babelfishpg_money
make
make install

# Install babelfishpg_common extension
cd ../babelfishpg_common
make 
make install

# Install babelfishpg_tds extension
cd ../babelfishpg_tds
make 
make install

# Installs the babelfishpg_tsql extension
cd ../babelfishpg_tsql
make 
make install

 

初始化及配置PostgreSQL

以上Babelfish引擎及Babelfish擴展部署完成後，現在我們就該初始化PostgreSQL資料庫實例了。在啟動Babelfish之前，我們需要在安裝文件夾中做一些更改。這是因為如果所有者具有root訪問許可權，PostgreSQL將不會啟動。此外，我們需要為PostgreSQL創建一個目錄和用戶。

#創建獨立用戶 postgres
mkdir -p $INSTALLATION_PATH/data
adduser --disabled-password --gecos "" postgres
chown -R postgres:postgres $INSTALLATION_PATH

# 初始化數據並配置
su postgres
INSTALLATION_PATH=/usr/local/pgsql 
$INSTALLATION_PATH/bin/initdb -D $INSTALLATION_PATH/data

vim $INSTALLATION_PATH/data/postgresql.conf 
listen_addresses = '*'
port = 5432
shared_preload_libraries = 'babelfishpg_tds'

vim $INSTALLATION_PATH/data/pg_hba.conf
host    all             all             0.0.0.0/0               md5
#啟動 PostgreSQL
$INSTALLATION_PATH/bin/pg_ctl -D $INSTALLATION_PATH/data start

 

連接Babelfish操作

都部署完成後，我們現在可以連接Babelfish了。在Linux環境下，可以使用psql、tsql、sqlcmd這三個客戶端工具連接。當然，你也可以在Windows環境使用SQL Server Management Studio(SSMS)來連接。

Ubuntu安裝3個客戶端工具：

apt-get install -y postgresql-client  

apt-get install -y freetds-bin

lsb_release -a
curl https://packages.microsoft.com/keys/microsoft.asc | sudo apt-key add -
curl https://packages.microsoft.com/config/ubuntu/21.04/prod.list | sudo tee /etc/apt/sources.list.d/msprod.list
apt-get update
apt-get install -y mssql-tools unixodbc-dev
echo 'export PATH="$PATH:/opt/mssql-tools/bin"' >> ~/.bash_profile
echo 'export PATH="$PATH:/opt/mssql-tools/bin"' >> ~/.bashrc
source ~/.bashrc

現在，我們先使用psql通過5432埠連接至PostgreSQL，同時創建一個用戶來進行測試。

其中migration_mode有2種模式，在single-db的情況下，MS SQL資料庫被映射到PostgreSQL中的模式。在multi-db情況下，可使用多個資料庫。

#使用psql連接Babelfish並創建用戶jeeson和資料庫demo
psql -h 127.0.0.1 -p 5432 -d postgres -U postgres
SELECT version();

create user jeeson superuser password 'YourNewStrong@Passw0rd';
create database demo owner jeeson;
\c demo
create extension if not exists "babelfishpg_tds" cascade;
alter system set babelfishpg_tsql.database_name = 'demo';
alter database demo set babelfishpg_tsql.migration_mode = 'multi-db';
select pg_reload_conf();
call sys.initialize_babelfish('jeeson');

#使用tsql或sqlcmd連接至Babelfish
tsql -S 127.0.0.1 -p 1433 -U jeeson -P "YourNewStrong@Passw0rd"

sqlcmd -S 127.0.0.1,1433 -U jeeson -P "YourNewStrong@Passw0rd"

我們創建了一個資料庫demo，以及一個用戶jeeson。現在，我們使用tsql和sqlcmd通過1433埠連接到Babelfish看看。

 

 

是不是很神奇？不要以為僅僅是連接到PostgreSQL，它可是用SQL Server的T-SQL語法進行操作的。當你要把SQL Server資料庫遷移到PostgreSQL時，只需把SQLServer的生成的SQL腳本執行即可。

對於習慣使用SQL Server Management Studio的同學，也可以在Windows中直接連接哦。不過需要註意的是，不是通過資源管理器連接伺服器，而是只打開一個新查詢視窗進行連接！ 

 

 對於用戶來說，Babelfish相容PostgreSQL語法。而對SQL Server來看，就像一個閹割版的雲產品一樣。

其實，對於非運維人員，常用的T-SQL已經足夠適用。

Babelfish有一個名為Babelfish Compass的評估工具，可幫助人們驗證SQLServer的遷移。

只需在DDL上運行 Compass工具，它能確認Babelfish對T-SQL代碼的支持程度、識別在執行Babelfish之前可能需要更改的T-SQL代碼。

 

本文來自博客園，作者：古道輕風，轉載請註明原文鏈接：https://www.cnblogs.com/88223100/p/Babelfish-for-PostgreSQL.html


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • C#多線程（三）線程高級篇
    前言 拋開死鎖不談，只聊性能問題，儘管鎖總能粗暴的滿足同步需求，但一旦存在競爭關係，意味著一定會有線程被阻塞，競爭越激烈，被阻塞的線程越多，上下文切換次數越多，調度成本越大，顯然在高併發的場景下會損害性能。在高併發高性能且要求線程安全的述求下，無鎖構造（非阻塞構造）閃亮登場。 參考文檔： C# - ...
  • C#多線程（一）線程基礎篇
    線程基礎 視頻已經發佈到B站 參考文章： 《Threading in C# 》（Joseph Albahari）https://www.albahari.com/threading/ 《Threading in C# 》中文翻譯（GKarch ）：https://blog.gkarch.com/to ...
  • Linux記憶體泄露案例分析和記憶體管理分享
    作者：李遵舉 一、問題 近期我們運維同事接到線上LB（負載均衡）服務記憶體報警，運維同事反饋說LB集群有部分機器的記憶體使用率超過80%，有的甚至超過90%，而且記憶體使用率還再不停的增長。接到記憶體報警的消息，讓整個團隊都比較緊張，我們團隊負責的LB服務是零售、物流、科技等業務服務的流量入口，承接上萬個服 ...
  • STM32F7xx外設驅動5-uart（寄存器）
    //源文件 void UartGpioConfig() { RCC->AHB1ENR |= (1<<3); //使能GPIOD RCC->APB1ENR |= (1<<18); //使能USART3 RCC->APB2ENR |= //PD8 TXD GPIOD->MODER |= (2<<16); ...
  • STM32F7xx外設驅動4-timer（寄存器）
    //源文件 void TimerPhyConfig() { RCC->APB1ENR |= (1<<1); //使能Timer3 TIM3->ARR = arr; TIM3->PSC = psc; TIM3->DIER = (1<<0); //Update interrupt enabled TIM ...
  • 大數據技術的現狀與面臨的挑戰
    本文主要從技術層面探討大數據目前的現狀以及面臨的挑戰。在此之前，如果你對大數據的概念還比較模糊，可閱讀什麼是大數據一文瞭解。 如何定義大數據 目前我們已經瞭解到，大數據是由於數據量的巨大增長而產生的。所以，“大數據”一詞主要描述的是規模巨大的混合數據集，這種數據集是結構化與非結構化數據的融合。 通常 ...
  • 5種GaussDB ETCD服務異常實例分析處理
    摘要：一文帶你細數幾種ETCD服務異常實例狀態。 本文分享自華為雲社區《【實例狀態】GaussDB ETCD服務異常》，作者：酷哥 。 首先確認是否是虛擬機、網路故障 虛擬機故障導致ETCD服務異常告警 問題現象 管控面上報etcd服務異常告警，虛擬機發生重啟，熱遷移、冷遷移，HA等動作。 問題分析 ...
  • 袋鼠雲數棧UI5.0體驗升級背後的故事：可用性原則與交互升級
    最近，我們袋鼠雲的UED部⻔小伙伴們，不聲不響地⼲了⼀件⼤事——升級了全新設計語言「數棧UI5.0」。 眾所周知，用戶在使用產品時，是一個動態的過程，用戶和產品之間進行交互的可用性，能否讓用戶愉悅、快速地在產品內達成目的，直接影響用戶使用產品的體驗。 在設計中，有一個廣泛的經驗法則被稱為「尼爾森十大 ...
一周排行
    -Advertisement-
    Play Games
  • Dapr Outbox 執行流程
    Dapr Outbox 是1.12中的功能。 本文只介紹Dapr Outbox 執行流程，Dapr Outbox基本用法請閱讀官方文檔 。本文中appID=order-processor，topic=orders 本文前提知識：熟悉Dapr狀態管理、Dapr發佈訂閱和Outbox 模式。 Outbo ...
  • Advanced .Net Debugging 7：托管堆與垃圾收集
    引言 在前幾章我們深度講解了單元測試和集成測試的基礎知識，這一章我們來講解一下代碼覆蓋率,代碼覆蓋率是單元測試運行的度量值,覆蓋率通常以百分比表示，用於衡量代碼被測試覆蓋的程度，幫助開發人員評估測試用例的質量和代碼的健壯性。常見的覆蓋率包括語句覆蓋率（Line Coverage）、分支覆蓋率（Bra ...
  • C#S7.NET實現西門子PLCDB塊數據採集的完整步驟
    前言 本文介紹瞭如何使用S7.NET庫實現對西門子PLC DB塊數據的讀寫，記錄了使用電腦模擬，模擬PLC，自至完成測試的詳細流程，並重點介紹了在這個過程中的易錯點，供參考。 用到的軟體： 1.Windows環境下鏈路層網路訪問的行業標準工具（WinPcap_4_1_3.exe）下載鏈接：http ...
  • WPF控制項：密碼框綁定MVVM
    從依賴倒置原則（Dependency Inversion Principle, DIP）到控制反轉（Inversion of Control, IoC）再到依賴註入（Dependency Injection, DI）的演進過程，我們可以理解為一種逐步抽象和解耦的設計思想。這種思想在C#等面向對象的編 ...
  • Python中的私有屬性與私有方法
    關於Python中的私有屬性和私有方法 Python對於類的成員沒有嚴格的訪問控制限制，這與其他面相對對象語言有區別。關於私有屬性和私有方法，有如下要點： 1、通常我們約定，兩個下劃線開頭的屬性是私有的（private）。其他為公共的（public）； 2、類內部可以訪問私有屬性（方法）； 3、類外 ...
  • C++ 訪問說明符詳解：封裝數據，控制訪問，提升安全性
    C++ 訪問說明符 訪問說明符是 C++ 中控制類成員（屬性和方法）可訪問性的關鍵字。它們用於封裝類數據並保護其免受意外修改或濫用。 三種訪問說明符： public：允許從類外部的任何地方訪問成員。 private：僅允許在類內部訪問成員。 protected：允許在類內部及其派生類中訪問成員。 示 ...
  • static_cast與dynamic_cast到底是什麼？
    寫這個隨筆說一下C++的static_cast和dynamic_cast用在子類與父類的指針轉換時的一些事宜。首先，【static_cast，dynamic_cast】【父類指針，子類指針】，兩兩一組，共有4種組合：用 static_cast 父類轉子類、用 static_cast 子類轉父類、使用 ...
  • C語言數據結構：雙向鏈表的增刪操作
    /******************************************************************************************************** * * * 設計雙向鏈表的介面 * * * * Copyright (c) 2023-2 ...
  • @ComponentScan註解的實現，Spring掃描包的過程
    相信接觸過spring做開發的小伙伴們一定使用過@ComponentScan註解 @ComponentScan("com.wangm.lifecycle") public class AppConfig { } @ComponentScan指定basePackage，將包下的類按照一定規則註冊成Be ...
  • opensips開啟python支持
    操作系統 ：CentOS 7.6_x64 opensips版本： 2.4.9 python版本：2.7.5 python作為腳本語言，使用起來很方便，查了下opensips的文檔，支持使用python腳本寫邏輯代碼。今天整理下CentOS7環境下opensips2.4.9的python模塊筆記及使用 ...
所有分類