依附大系統 【數據實時獲取】解決方案

来源:http://www.cnblogs.com/java-class/archive/2016/06/25/4553712.html
-Advertisement-
Play Games

最近公司作為眾多外部廠商之一,需要依托一個大型平臺系統( 這裡簡稱為Big-S) 給特定用戶提供一些服務。 作為外部廠商開發的 Web 應用(這裡簡稱 Small-S),需要提取 Big-S 中的基礎數據,包括用戶、組織結構、代碼表......部分欄位到本地數據表中。 融合 Small-S 自己特點 ...


    最近公司作為眾多外部廠商之一,需要依托一個大型平臺系統( 這裡簡稱為Big-S) 給特定用戶提供一些服務。

    作為外部廠商開發的 Web 應用(這裡簡稱 Small-S),需要提取 Big-S 中的基礎數據,包括用戶、組織結構、代碼表......部分欄位到本地數據表中。

    融合 Small-S 自己特點,作為搭建 Small-S Web 項目的先決條件。

    Small-S 需要做到和 Big-S 的重點基礎數據實時一致, 重點關註 Big-S 數據交互方面的以下特性。

      1. Big-S 提供給外部廠商交互方式大體有三種形式(EJB,WebService,JMS),數據表接近 4000 +。

      2. Big-S 提供給外部廠商 Oracle 資料庫 DB_Select ,當然 DB_Select 只含有 Select 許可權。

    至於其中 DB_Select 實時同步 Big-S 哪些資料庫、需要怎樣負載部署.....這些都不是該關心的事情。

    內部進行了幾輪 PK,最終確定了比較不錯的解決方案,本篇將循序漸進陳述幾種提出的方法,給其他同行做參考為主,記錄總結為輔。

    可能有人會感到疑惑,直接將需要的基礎數據一次性抽取過來不行麽?

    Big-S 中實時也在操作這些數據,抽取過來的數據肯定會和 Big-S 中產生誤差,已這樣的數據作為基礎的 web 項目,等著被領導請去喝茶吧。

1. 使用 Big-S 提供的外部服務

    使用 BIg-S 提供的外部服務,獲取數據過程為實時處理,而且處理速度也相當不錯。

    獲取數據時,你需要一些前置條件組織請求,才能準確的獲取到你需要的數據,比如你需要一個用戶信息,前置條件可能是用戶ID,組織機構ID......

  • 首先考慮到的是 Small-S 需要擴展業務的時候,得去查找  Big-S 是否有提供類似的服務供你使用,如果有則好。
  • 如果沒有呢?告訴 Big-S 去給你定製開發一個?
  • 其次,Small-S 需要做類似的查詢功能時,假設查詢所有用戶信息,這時候你是沒有前置條件的。
  • 最後,雖然獲取數據響應事件速度是不錯的,但 Small-S 需要組織請求、去除不相關的、轉換為預期的 Small-S 數據結構對象,這些都耗時耗力。
  • EJB/WebService 服務的調用、交互規則不是本篇要闡述的重點,有興趣可以自己看一下。

2. 雙數據源配置

     使用 Big-S 提供的服務實時獲取數據,被眾人駁的體無完膚之後。

     緊接著有人將目光放在了 Big-S 對外提供的資料庫 DB_Select 上面。

     具體想法為同時鏈接 Small-S 和 Big-S DB_Select , 公用同一個資料庫資源池。 

    <bean id="small-s" class="com.mchange.v2.c3p0.ComboPooledDataSource" destroy-method="close">
        <property name="driverClass" value="${smalls.driverClassName}" />
        <property name="jdbcUrl" value="${smalls.url}" />
        <property name="user" value="${smalls.username}" />
        <property name="password" value="${smalls.password}" />
        ........
    </bean>
    <bean id="big-s" class="com.mchange.v2.c3p0.ComboPooledDataSource" destroy-method="close">
        <property name="driverClass" value="${bigs.driverClassName}" />
        <property name="jdbcUrl" value="${bigs.url}" />
        <property name="user" value="${bigs.username}" />
        <property name="password" value="${bigs.password}" />
         ......
    </bean>
  • 使用 Spring 可以很輕鬆的做到雙資料庫配置,資源池可以使用常見的 C3P0、DPCP....
  • 開發時可以在具體 Dao 層由程式員決定具體需要的數據源自己註入,或做點設計將兩個數據源同時註入到父類 dao 中,基類 dao 繼承即可。
  • 這時候,只要知道具體業務、具體表名,可以獲取輕鬆獲取到 Big-S 中的數據,這點還是相當滿意。
  • 但是基礎數據中實時變化的那部分,讀取 Big-S 數據同步到 Small-s 中?
  • 做定時任務?時間間隔設置多少合適?間隔當中 Big-S 用戶數據發生變化,Small-S 中的用戶進行業務操作該怎們辦?
  • 這種解決方法提供了一些思路,當最終還是夭折在同步上,耗時耗力。

3. Oracle DB_Link + Synonyms

    這個思路提出者是一位經驗老道的資料庫 DBA ,在 Small-S 上建議資料庫鏈接 到 Big-S 上,然後在 Small-S 上面建立需要表的同義詞。

    與視圖類似,同義詞並不占用實際存儲空間,只有在數據字典中保存了同義詞的定義,查詢 Big-S 表時都是實時數據。

    建立資料庫鏈接和同義詞過程: 

    -- create database link
    create public database link big-s_link
    connect to '用戶' identified by '密碼'
    using '(description =
            (address_list
            (address = (protocol = tcp)(host = 'ip')(port = ''))
            )
            (connect_data =
            (sid = '實例名')
            (server = dedicated)
            )
            )';

   -- create database synonym
   create or replace synonym s_a for b_a@big-s_link;
  • 在實際分析中,Big-S 共有的4000+的數據表,Small-S 頂多會使用到的只有200+。
  • 隨義務擴展可以自行選擇 Big-S 中的數據表,非常方便進行擴展。
  • 使用這種方式不需要配置兩個數據源,只鏈接 Small-S 的資料庫即可。
  • 同義詞的使用保證了數據實時一致性,不會因為用戶信息錯誤,而產生利益糾紛。

     至此依附 Big-S 數據實時獲取解決方法應該來說有了比較不錯的落地,至於使用後是什麼情況,需要項目上線運行一段時間才能知道。

     Big-S 畢竟是大公司,具體我就不提了,而且是多廠商協同,切記相互扯皮,出現問題,在自己方定位問題未果後在去詢問對方。

     註意對人起碼的尊重,說話客氣一點,搞好關係,這樣會事半功倍。

 


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 這是我對指針學習的歸納記載,如有疑問歡迎聯繫作者本人一起探討~ 尊重作者的勞動,轉載請記得註明來源:http://www.cnblogs.com/weifeng727/p/5584151.html ...
  • 一、什麼是字典? 字典是Python語言中唯一的映射類型。 映射類型對象里哈希值(鍵,key)和指向的對象(值,value)是一對多的的關係,通常被認為是可變的哈希表。 字典對象是可變的,它是一個容器類型,能存儲任意個數的Python對象,其中也可包括其他容器類型。 字典類型與序列類型的區別: 1. ...
  • (期末考試快到了,所以比較粗糙,請各位讀者理解。。) 一、 概念 DBSCAN是一種產生劃分聚類的基於密度的聚類演算法,簇的個數由演算法自動地確定。低密度區域中的點被視為雜訊而忽略,因此DBSCAN不產生完全聚類。 二、 偽代碼 1 將所有點標記為核心點、邊界點和雜訊點。 2 刪除雜訊點。 3 為距離在 ...
  • 編寫一個簡單的留言簿,實現添加留言和顯示留言內容的功能 運行: ...
  • Akka可能很多人都沒有用過,也不知道是什麼,但如果說起Scala或Spark就有很多人都聽說過或使用過 ,這裡簡單說下三者的關係Akka是使用Scala開發的,Spark中使用了Akka作為其消息的通信工具;這篇文章主要 說說Akka的一些特性,做個簡要的介紹; 要說Akka首先要從 併發 開始說 ...
  • 大數據已經成為一種發展趨勢,得到越來越多的公司參與。最近從事大數據系統設計開發和推薦引擎方面的工作,分幾篇文章兩個系列把自己的心得記錄一下, 和大家分享一下大數據方面的經驗。 整個平臺包括監控系統、日誌分析系統、推薦系統。按數據業務步驟劃分,分為數據採集、清洗、存儲、分析和服務。整個數據流程如下圖: ...
  • 1.意圖 使多個對象都有機會處理請求,從而避免請求的發送者和接收者之間的耦合關係。將這些對象連成一條鏈,並沿著這條鏈傳遞該請求,直到有一個對象處理它為止。 2.動機 給多個對象處理一個請求的機會,從而解耦發送者和接收者。 3.適用性 有多個的對象可以處理一個請求,哪個對象處理該請求運行時刻自動確定。 ...
  • 第一次完整看一遍(JavaScript設計模式)該模式的介紹,感覺這不就是繼承而已嗎,只不過可能是部分繼承。 混入(Mixin)模式 定義: Mixin是可以輕鬆被一個子類或一組子類繼承功能的類,目的是函數復用。繼承Mixin是擴展功能的方式,另外也可能從多個Mixin類進行繼承。 繼承方式: 這個 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...