原文鏈接:走好數據中台最後一公裡,數據服務API是數據中台的標配 視頻回顧:點擊這裡 課件獲取:點擊這裡 一、數據服務API建設背景 在數字化轉型的時代背景下,新需求的大量增長、新技術的不斷迭代,“互聯網化、數字化”進程的不斷深入,越來越多的業務被遷移到互聯網上,產生大量的業務交互和對外服務需求,對 ...
原文鏈接:走好數據中台最後一公裡,數據服務API是數據中台的標配
視頻回顧:點擊這裡
課件獲取:點擊這裡
一、數據服務API建設背景
在數字化轉型的時代背景下,新需求的大量增長、新技術的不斷迭代,“互聯網化、數字化”進程的不斷深入,越來越多的業務被遷移到互聯網上,產生大量的業務交互和對外服務需求,對API介面的需求與日俱增,如何快速提升企業數據開放共用能力,是企業面臨數字化轉型的關鍵命題。
傳統的方式如後端開發人員通過 Java 或 Python 等語言進行編寫來生成 API 介面,開發周期過長,運維成本太高,已經不能滿足企業的需求。企業在數字化轉型過程往往面臨諸多難題:
為了更多的解決這些問題,我們在企業開放、共用數據過程中需要確定以下目標:
-
快速構建 API
-
系統穩定、數據安全
-
易於集成使用
-
授權交付
-
低成本運維
二、數據服務平臺建設方法論
在分享數據服務平臺建設方法論之前,我們先瞭解一下常見的數據中台應用架構:
數據服務層作為數據中台整體應用架構中處於中間地位,將數據計算層的結果通過數據API的形式對外共用給數據應用層。數據服務層主要有3個作用:
1、當數據已被整合和計算好之後,需要提供給產品和應用進行數據消費;
2、為了有更好的性能和體驗,構建數據服務層,通過介面服務化方式對外提供數據服務;
3、滿足應用各種複雜的數據服務需求(簡單數據查詢服務、複雜數據查詢服務、實時數據推送)
而在數據服務層對外提供服務的過程中,經歷了從“DWSOA”到“OneService”的演變過程。
從“OneService”數據服務本身來說,主要是解決異構數據源、重覆建設、審計運維困難、理解困難這4個問題,通過“OneService”服務,實現主題式數據服務、統一且多樣化數據服務、跨源數據服務的服務目標。
因此,若想構建一個完整的數據服務平臺,需要具備以下6個要素:
-
便捷開發,具備低代碼化的開發能力
-
易於管理,API管理操作可視化查詢API
-
易於使用,具備規範化的文檔描述信息
-
安全穩定,服務調用追蹤監控、服務使用審計、鑒權等
-
易於運維,測試、糾查、問題規則配置
-
性能,負載均衡、高併發
三、基於OneService構建數據體系
瞭解完“OneService”理論,接下來為大家分享如何基於OneService構建數據體系,主要遵循以下步驟:
● 第一步:API定義
API的定義包括:快速配置參數、選擇排序欄位、API類型多樣性、數據預覽、複製欄位等方面。
API的類型又包括生成API、註冊API、服務分組及服務編排這4個方面。
● 第二步:API發佈
API的發佈包括測試、提交至API網關、發佈至API市場、版本管理這幾個方面。
● 第三步:API調用
API調用包括數據預覽、API申請、審批、下載介面文檔、正式調用這幾個方面。
● 第四步:調用監控
業務上:對API調用的統計數據進行深入的分析,進而得出關鍵信息;
技術上:通過API調用的統計圖表進行分析可以發現,哪些API最受歡迎;而哪些幾乎無人問津,應該被淘汰;
安全上:對調用IP、調用次數進行監控,對調用者進行溯源。
● 第五步:數據安全
數據安全包括:統一認證鑒權、傳輸加密、安全組、角色分配、行級許可權、調用審批等。
上述的數據服務API的建設過程,其實正是袋鼠雲自研的數棧數據服務EasyAPI產品的落地實踐過程。
數據服務(EasyAPI),高效的企業級數據服務產品,通過雙模式可視化配置生成與註冊API,快速構建OneService數據共用服務,形成企業級的API市場和API服務管理平臺,提高數據開放與共用效率。
同時產品具備以下特點:
- 快速構建
配置即開發,支持0代碼、低代碼快速構建API
- 安全性高
用戶認證、監控、傳輸加密、API級別安全策略、行級許可權、角色分配、調用申請審批、調用周期次數的限制、黑白名單
- 靈活度高
“服務編排“可對不同的API進行組合,支持集成python進行數據處理、支持“條件判斷”節點,選擇符合條件的分支
- 配置靈活
橫向拓展API網關、緩存
- 低成本運維
採用Serverless架構,只需關註API本身的業務邏輯,很少考慮運行環境等基礎設施
四、API實施落地案例
接下來我們分享三個使用客戶的實際案例,為大家介紹EasyAPI如何切實的幫助客戶解決問題。
● 金融:某證券公司應用數據服務
● 學校:某大學應用數據服務
● 零售:某網路公司應用數據服務
袋鼠雲開源框架釘釘技術交流qun(30537511),歡迎對大數據開源項目有興趣的同學加入交流最新技術信息,開源項目庫地址:https://github.com/DTStack