最近公司作為眾多外部廠商之一,需要依托一個大型平臺系統( 這裡簡稱為Big-S) 給特定用戶提供一些服務。 作為外部廠商開發的 Web 應用(這裡簡稱 Small-S),需要提取 Big-S 中的基礎數據,包括用戶、組織結構、代碼表......部分欄位到本地數據表中。 融合 Small-S 自己特點 ...
最近公司作為眾多外部廠商之一,需要依托一個大型平臺系統( 這裡簡稱為Big-S) 給特定用戶提供一些服務。
作為外部廠商開發的 Web 應用(這裡簡稱 Small-S),需要提取 Big-S 中的基礎數據,包括用戶、組織結構、代碼表......部分欄位到本地數據表中。
融合 Small-S 自己特點,作為搭建 Small-S Web 項目的先決條件。
Small-S 需要做到和 Big-S 的重點基礎數據實時一致, 重點關註 Big-S 數據交互方面的以下特性。
1. Big-S 提供給外部廠商交互方式大體有三種形式(EJB,WebService,JMS),數據表接近 4000 +。
2. Big-S 提供給外部廠商 Oracle 資料庫 DB_Select ,當然 DB_Select 只含有 Select 許可權。
至於其中 DB_Select 實時同步 Big-S 哪些資料庫、需要怎樣負載部署.....這些都不是該關心的事情。
內部進行了幾輪 PK,最終確定了比較不錯的解決方案,本篇將循序漸進陳述幾種提出的方法,給其他同行做參考為主,記錄總結為輔。
可能有人會感到疑惑,直接將需要的基礎數據一次性抽取過來不行麽?
Big-S 中實時也在操作這些數據,抽取過來的數據肯定會和 Big-S 中產生誤差,已這樣的數據作為基礎的 web 項目,等著被領導請去喝茶吧。
1. 使用 Big-S 提供的外部服務
使用 BIg-S 提供的外部服務,獲取數據過程為實時處理,而且處理速度也相當不錯。
獲取數據時,你需要一些前置條件組織請求,才能準確的獲取到你需要的數據,比如你需要一個用戶信息,前置條件可能是用戶ID,組織機構ID......
- 首先考慮到的是 Small-S 需要擴展業務的時候,得去查找 Big-S 是否有提供類似的服務供你使用,如果有則好。
- 如果沒有呢?告訴 Big-S 去給你定製開發一個?
- 其次,Small-S 需要做類似的查詢功能時,假設查詢所有用戶信息,這時候你是沒有前置條件的。
- 最後,雖然獲取數據響應事件速度是不錯的,但 Small-S 需要組織請求、去除不相關的、轉換為預期的 Small-S 數據結構對象,這些都耗時耗力。
- EJB/WebService 服務的調用、交互規則不是本篇要闡述的重點,有興趣可以自己看一下。
2. 雙數據源配置
使用 Big-S 提供的服務實時獲取數據,被眾人駁的體無完膚之後。
緊接著有人將目光放在了 Big-S 對外提供的資料庫 DB_Select 上面。
具體想法為同時鏈接 Small-S 和 Big-S DB_Select , 公用同一個資料庫資源池。
<bean id="small-s" class="com.mchange.v2.c3p0.ComboPooledDataSource" destroy-method="close"> <property name="driverClass" value="${smalls.driverClassName}" /> <property name="jdbcUrl" value="${smalls.url}" /> <property name="user" value="${smalls.username}" /> <property name="password" value="${smalls.password}" /> ........ </bean> <bean id="big-s" class="com.mchange.v2.c3p0.ComboPooledDataSource" destroy-method="close"> <property name="driverClass" value="${bigs.driverClassName}" /> <property name="jdbcUrl" value="${bigs.url}" /> <property name="user" value="${bigs.username}" /> <property name="password" value="${bigs.password}" /> ...... </bean>
- 使用 Spring 可以很輕鬆的做到雙資料庫配置,資源池可以使用常見的 C3P0、DPCP....
- 開發時可以在具體 Dao 層由程式員決定具體需要的數據源自己註入,或做點設計將兩個數據源同時註入到父類 dao 中,基類 dao 繼承即可。
- 這時候,只要知道具體業務、具體表名,可以獲取輕鬆獲取到 Big-S 中的數據,這點還是相當滿意。
- 但是基礎數據中實時變化的那部分,讀取 Big-S 數據同步到 Small-s 中?
- 做定時任務?時間間隔設置多少合適?間隔當中 Big-S 用戶數據發生變化,Small-S 中的用戶進行業務操作該怎們辦?
- 這種解決方法提供了一些思路,當最終還是夭折在同步上,耗時耗力。
3. Oracle DB_Link + Synonyms
這個思路提出者是一位經驗老道的資料庫 DBA ,在 Small-S 上建議資料庫鏈接 到 Big-S 上,然後在 Small-S 上面建立需要表的同義詞。
與視圖類似,同義詞並不占用實際存儲空間,只有在數據字典中保存了同義詞的定義,查詢 Big-S 表時都是實時數據。
建立資料庫鏈接和同義詞過程:
-- create database link create public database link big-s_link connect to '用戶' identified by '密碼' using '(description = (address_list (address = (protocol = tcp)(host = 'ip')(port = '埠')) ) (connect_data = (sid = '實例名') (server = dedicated) ) )'; -- create database synonym create or replace synonym s_a for b_a@big-s_link;
- 在實際分析中,Big-S 共有的4000+的數據表,Small-S 頂多會使用到的只有200+。
- 隨義務擴展可以自行選擇 Big-S 中的數據表,非常方便進行擴展。
- 使用這種方式不需要配置兩個數據源,只鏈接 Small-S 的資料庫即可。
- 同義詞的使用保證了數據實時一致性,不會因為用戶信息錯誤,而產生利益糾紛。
至此依附 Big-S 數據實時獲取解決方法應該來說有了比較不錯的落地,至於使用後是什麼情況,需要項目上線運行一段時間才能知道。
Big-S 畢竟是大公司,具體我就不提了,而且是多廠商協同,切記相互扯皮,出現問題,在自己方定位問題未果後在去詢問對方。
註意對人起碼的尊重,說話客氣一點,搞好關係,這樣會事半功倍。