走好數據中台最後一公裡,為什麼說數據服務API是數據中台的標配?

来源:https://www.cnblogs.com/DTinsight/archive/2022/06/23/16404812.html
-Advertisement-
Play Games

原文鏈接:走好數據中台最後一公裡,數據服務API是數據中台的標配 視頻回顧:點擊這裡 課件獲取:點擊這裡 一、數據服務API建設背景 在數字化轉型的時代背景下,新需求的大量增長、新技術的不斷迭代,“互聯網化、數字化”進程的不斷深入,越來越多的業務被遷移到互聯網上,產生大量的業務交互和對外服務需求,對 ...


原文鏈接:走好數據中台最後一公裡,數據服務API是數據中台的標配

視頻回顧:點擊這裡

課件獲取:點擊這裡

一、數據服務API建設背景

在數字化轉型的時代背景下,新需求的大量增長、新技術的不斷迭代,“互聯網化、數字化”進程的不斷深入,越來越多的業務被遷移到互聯網上,產生大量的業務交互和對外服務需求,對API介面的需求與日俱增,如何快速提升企業數據開放共用能力,是企業面臨數字化轉型的關鍵命題。

file

傳統的方式如後端開發人員通過 Java 或 Python 等語言進行編寫來生成 API 介面,開發周期過長,運維成本太高,已經不能滿足企業的需求。企業在數字化轉型過程往往面臨諸多難題:

file

為了更多的解決這些問題,我們在企業開放、共用數據過程中需要確定以下目標:

  • 快速構建 API

  • 系統穩定、數據安全

  • 易於集成使用

  • 授權交付

  • 低成本運維

file

二、數據服務平臺建設方法論

在分享數據服務平臺建設方法論之前,我們先瞭解一下常見的數據中台應用架構:

file

數據服務層作為數據中台整體應用架構中處於中間地位,將數據計算層的結果通過數據API的形式對外共用給數據應用層。數據服務層主要有3個作用:

1、當數據已被整合和計算好之後,需要提供給產品和應用進行數據消費;

2、為了有更好的性能和體驗,構建數據服務層,通過介面服務化方式對外提供數據服務;

3、滿足應用各種複雜的數據服務需求(簡單數據查詢服務、複雜數據查詢服務、實時數據推送)

而在數據服務層對外提供服務的過程中,經歷了從“DWSOA”“OneService”的演變過程。

file

從“OneService”數據服務本身來說,主要是解決異構數據源、重覆建設、審計運維困難、理解困難這4個問題,通過“OneService”服務,實現主題式數據服務、統一且多樣化數據服務、跨源數據服務的服務目標。

因此,若想構建一個完整的數據服務平臺,需要具備以下6個要素:

  • 便捷開發,具備低代碼化的開發能力

  • 易於管理,API管理操作可視化查詢API

  • 易於使用,具備規範化的文檔描述信息

  • 安全穩定,服務調用追蹤監控、服務使用審計、鑒權等

  • 易於運維,測試、糾查、問題規則配置

  • 性能,負載均衡、高併發

三、基於OneService構建數據體系

瞭解完“OneService”理論,接下來為大家分享如何基於OneService構建數據體系,主要遵循以下步驟:

file

● 第一步:API定義

API的定義包括:快速配置參數、選擇排序欄位、API類型多樣性、數據預覽、複製欄位等方面。

file

API的類型又包括生成API、註冊API、服務分組及服務編排這4個方面。

file

file

● 第二步:API發佈

API的發佈包括測試、提交至API網關、發佈至API市場、版本管理這幾個方面。

file

● 第三步:API調用

API調用包括數據預覽、API申請、審批、下載介面文檔、正式調用這幾個方面。

file

● 第四步:調用監控

業務上:對API調用的統計數據進行深入的分析,進而得出關鍵信息;

技術上:通過API調用的統計圖表進行分析可以發現,哪些API最受歡迎;而哪些幾乎無人問津,應該被淘汰;

安全上:對調用IP、調用次數進行監控,對調用者進行溯源。

file

● 第五步:數據安全

數據安全包括:統一認證鑒權、傳輸加密、安全組、角色分配、行級許可權、調用審批等。

file

上述的數據服務API的建設過程,其實正是袋鼠雲自研的數棧數據服務EasyAPI產品的落地實踐過程。

數據服務(EasyAPI),高效的企業級數據服務產品,通過雙模式可視化配置生成與註冊API,快速構建OneService數據共用服務,形成企業級的API市場和API服務管理平臺,提高數據開放與共用效率。

file

同時產品具備以下特點:

  • 快速構建

配置即開發,支持0代碼、低代碼快速構建API

  • 安全性高

用戶認證、監控、傳輸加密、API級別安全策略、行級許可權、角色分配、調用申請審批、調用周期次數的限制、黑白名單

  • 靈活度高

“服務編排“可對不同的API進行組合,支持集成python進行數據處理、支持“條件判斷”節點,選擇符合條件的分支

  • 配置靈活

橫向拓展API網關、緩存

  • 低成本運維

採用Serverless架構,只需關註API本身的業務邏輯,很少考慮運行環境等基礎設施

四、API實施落地案例

接下來我們分享三個使用客戶的實際案例,為大家介紹EasyAPI如何切實的幫助客戶解決問題。

● 金融:某證券公司應用數據服務

file

● 學校:某大學應用數據服務

file

● 零售:某網路公司應用數據服務

file

袋鼠雲開源框架釘釘技術交流qun(30537511),歡迎對大數據開源項目有興趣的同學加入交流最新技術信息,開源項目庫地址:https://github.com/DTStack


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • pwd 顯示工作路徑 shutdown -h now 關閉系統 /halt 關閉系統 shutdown -r now 重啟 / reboot 重啟 1、cd命令:這是一個非常基本,也是大家經常需要使用的命令,它用於切換當前目錄,它的參數是要切換到的目錄的路徑,可以是絕對路徑,也可以是相對路徑。如: ...
  • 環境:CentOS/Linux FFmpeg官網:http://www.ffmpeg.org 將安裝到目錄/usr/local/下 mkdir /usr/local/ffmpeg cd /usr/local/ffmpeg wget http://ffmpeg.org/releases/ffmpeg- ...
  • 鏡像下載、功能變數名稱解析、時間同步請點擊 阿裡雲開源鏡像站 準備 作為一個經常在伺服器上游走的後端,需要熟悉不少命令行操作。其中,grep、sed、awk號稱"linux三劍客",使用頻繁,功能強大,本文通過一個實例演示下基本用法。首先準備一個文本文件,命名為text.txt,內容如下: cat text ...
  • 1.官方SDK(帶Freertos)無法編譯和下載解決方案: (1)無法編譯通過:(會報一下奇奇怪怪的錯誤) 32bit MCU官方freertos的SDK編譯不通過可能是基於不同的C語言版本編寫,需要修改配置如下: (2)無法下載:本人遇到的錯誤是這個 “No Algorithm found fo ...
  • 鏡像下載、功能變數名稱解析、時間同步請點擊 阿裡雲開源鏡像站 一、什麼是MQ? 消息隊列(Message Queue,簡稱MQ),從字面意思上看,本質是個隊列,FIFO先入先出,只不過隊列中存放的內容是message而已。 其主要用途:不同進程Process/線程Thread之間通信。 隊列是一種先進先出的 ...
  • 使用yum或dnf解決rpm包的依賴關係。 YUM:Yellowdog Update Modifier。是rpm的前端程式 作用:解決軟體包之間的依賴關係 yum工作原理: yum 伺服器存放rpm包和相關rpm包的元資料庫(一個叫做repodata的文件夾--存放包的列表、依賴關係等信息) yum ...
  • 問題導入 在之前項目的基礎功能實現中,後臺管理和移動端在進行數據訪問的時候,都是直接操作資料庫MySQL。此時的系統有且僅有一臺MySQL伺服器,則可能會出現如下問題 ①、讀和寫所有壓力都由一臺資料庫承擔,壓力大 ②、資料庫伺服器磁碟損壞導致數據丟失,單點故障 解決方案 很簡單,一臺伺服器撐不住,那 ...
  • 資料庫設計的設計內容包括:需求分析、概念結構設計、邏輯結構設計、物理結構設計、資料庫的實施和資料庫的運行和維護。 ...
一周排行
    -Advertisement-
    Play Games
  • 1、預覽地址:http://139.155.137.144:9012 2、qq群:801913255 一、前言 隨著網路的發展,企業對於信息系統數據的保密工作愈發重視,不同身份、角色對於數據的訪問許可權都應該大相徑庭。 列如 1、不同登錄人員對一個數據列表的可見度是不一樣的,如數據列、數據行、數據按鈕 ...
  • 前言 上一篇文章寫瞭如何使用RabbitMQ做個簡單的發送郵件項目,然後評論也是比較多,也是準備去學習一下如何確保RabbitMQ的消息可靠性,但是由於時間原因,先來說說設計模式中的簡單工廠模式吧! 在瞭解簡單工廠模式之前,我們要知道C#是一款面向對象的高級程式語言。它有3大特性,封裝、繼承、多態。 ...
  • Nodify學習 一:介紹與使用 - 可樂_加冰 - 博客園 (cnblogs.com) Nodify學習 二:添加節點 - 可樂_加冰 - 博客園 (cnblogs.com) 介紹 Nodify是一個WPF基於節點的編輯器控制項,其中包含一系列節點、連接和連接器組件,旨在簡化構建基於節點的工具的過程 ...
  • 創建一個webapi項目做測試使用。 創建新控制器,搭建一個基礎框架,包括獲取當天日期、wiki的請求地址等 創建一個Http請求幫助類以及方法,用於獲取指定URL的信息 使用http請求訪問指定url,先運行一下,看看返回的內容。內容如圖右邊所示,實際上是一個Json數據。我們主要解析 大事記 部 ...
  • 最近在不少自媒體上看到有關.NET與C#的資訊與評價,感覺大家對.NET與C#還是不太瞭解,尤其是對2016年6月發佈的跨平臺.NET Core 1.0,更是知之甚少。在考慮一番之後,還是決定寫點東西總結一下,也回顧一下.NET的發展歷史。 首先,你沒看錯,.NET是跨平臺的,可以在Windows、 ...
  • Nodify學習 一:介紹與使用 - 可樂_加冰 - 博客園 (cnblogs.com) Nodify學習 二:添加節點 - 可樂_加冰 - 博客園 (cnblogs.com) 添加節點(nodes) 通過上一篇我們已經創建好了編輯器實例現在我們為編輯器添加一個節點 添加model和viewmode ...
  • 前言 資料庫併發,數據審計和軟刪除一直是數據持久化方面的經典問題。早些時候,這些工作需要手寫複雜的SQL或者通過存儲過程和觸發器實現。手寫複雜SQL對軟體可維護性構成了相當大的挑戰,隨著SQL字數的變多,用到的嵌套和複雜語法增加,可讀性和可維護性的難度是幾何級暴漲。因此如何在實現功能的同時控制這些S ...
  • 類型檢查和轉換:當你需要檢查對象是否為特定類型,並且希望在同一時間內將其轉換為那個類型時,模式匹配提供了一種更簡潔的方式來完成這一任務,避免了使用傳統的as和is操作符後還需要進行額外的null檢查。 複雜條件邏輯:在處理複雜的條件邏輯時,特別是涉及到多個條件和類型的情況下,使用模式匹配可以使代碼更 ...
  • 在日常開發中,我們經常需要和文件打交道,特別是桌面開發,有時候就會需要載入大批量的文件,而且可能還會存在部分文件缺失的情況,那麼如何才能快速的判斷文件是否存在呢?如果處理不當的,且文件數量比較多的時候,可能會造成卡頓等情況,進而影響程式的使用體驗。今天就以一個簡單的小例子,簡述兩種不同的判斷文件是否... ...
  • 前言 資料庫併發,數據審計和軟刪除一直是數據持久化方面的經典問題。早些時候,這些工作需要手寫複雜的SQL或者通過存儲過程和觸發器實現。手寫複雜SQL對軟體可維護性構成了相當大的挑戰,隨著SQL字數的變多,用到的嵌套和複雜語法增加,可讀性和可維護性的難度是幾何級暴漲。因此如何在實現功能的同時控制這些S ...