走好數據中台最後一公裡,為什麼說數據服務API是數據中台的標配?

来源:https://www.cnblogs.com/DTinsight/archive/2022/06/23/16404812.html
-Advertisement-
Play Games

原文鏈接:走好數據中台最後一公裡,數據服務API是數據中台的標配 視頻回顧:點擊這裡 課件獲取:點擊這裡 一、數據服務API建設背景 在數字化轉型的時代背景下,新需求的大量增長、新技術的不斷迭代,“互聯網化、數字化”進程的不斷深入,越來越多的業務被遷移到互聯網上,產生大量的業務交互和對外服務需求,對 ...


原文鏈接:走好數據中台最後一公裡,數據服務API是數據中台的標配

視頻回顧:點擊這裡

課件獲取:點擊這裡

一、數據服務API建設背景

在數字化轉型的時代背景下,新需求的大量增長、新技術的不斷迭代,“互聯網化、數字化”進程的不斷深入,越來越多的業務被遷移到互聯網上,產生大量的業務交互和對外服務需求,對API介面的需求與日俱增,如何快速提升企業數據開放共用能力,是企業面臨數字化轉型的關鍵命題。

file

傳統的方式如後端開發人員通過 Java 或 Python 等語言進行編寫來生成 API 介面,開發周期過長,運維成本太高,已經不能滿足企業的需求。企業在數字化轉型過程往往面臨諸多難題:

file

為了更多的解決這些問題,我們在企業開放、共用數據過程中需要確定以下目標:

  • 快速構建 API

  • 系統穩定、數據安全

  • 易於集成使用

  • 授權交付

  • 低成本運維

file

二、數據服務平臺建設方法論

在分享數據服務平臺建設方法論之前,我們先瞭解一下常見的數據中台應用架構:

file

數據服務層作為數據中台整體應用架構中處於中間地位,將數據計算層的結果通過數據API的形式對外共用給數據應用層。數據服務層主要有3個作用:

1、當數據已被整合和計算好之後,需要提供給產品和應用進行數據消費;

2、為了有更好的性能和體驗,構建數據服務層,通過介面服務化方式對外提供數據服務;

3、滿足應用各種複雜的數據服務需求(簡單數據查詢服務、複雜數據查詢服務、實時數據推送)

而在數據服務層對外提供服務的過程中,經歷了從“DWSOA”“OneService”的演變過程。

file

從“OneService”數據服務本身來說,主要是解決異構數據源、重覆建設、審計運維困難、理解困難這4個問題,通過“OneService”服務,實現主題式數據服務、統一且多樣化數據服務、跨源數據服務的服務目標。

因此,若想構建一個完整的數據服務平臺,需要具備以下6個要素:

  • 便捷開發,具備低代碼化的開發能力

  • 易於管理,API管理操作可視化查詢API

  • 易於使用,具備規範化的文檔描述信息

  • 安全穩定,服務調用追蹤監控、服務使用審計、鑒權等

  • 易於運維,測試、糾查、問題規則配置

  • 性能,負載均衡、高併發

三、基於OneService構建數據體系

瞭解完“OneService”理論,接下來為大家分享如何基於OneService構建數據體系,主要遵循以下步驟:

file

● 第一步:API定義

API的定義包括:快速配置參數、選擇排序欄位、API類型多樣性、數據預覽、複製欄位等方面。

file

API的類型又包括生成API、註冊API、服務分組及服務編排這4個方面。

file

file

● 第二步:API發佈

API的發佈包括測試、提交至API網關、發佈至API市場、版本管理這幾個方面。

file

● 第三步:API調用

API調用包括數據預覽、API申請、審批、下載介面文檔、正式調用這幾個方面。

file

● 第四步:調用監控

業務上:對API調用的統計數據進行深入的分析,進而得出關鍵信息;

技術上:通過API調用的統計圖表進行分析可以發現,哪些API最受歡迎;而哪些幾乎無人問津,應該被淘汰;

安全上:對調用IP、調用次數進行監控,對調用者進行溯源。

file

● 第五步:數據安全

數據安全包括:統一認證鑒權、傳輸加密、安全組、角色分配、行級許可權、調用審批等。

file

上述的數據服務API的建設過程,其實正是袋鼠雲自研的數棧數據服務EasyAPI產品的落地實踐過程。

數據服務(EasyAPI),高效的企業級數據服務產品,通過雙模式可視化配置生成與註冊API,快速構建OneService數據共用服務,形成企業級的API市場和API服務管理平臺,提高數據開放與共用效率。

file

同時產品具備以下特點:

  • 快速構建

配置即開發,支持0代碼、低代碼快速構建API

  • 安全性高

用戶認證、監控、傳輸加密、API級別安全策略、行級許可權、角色分配、調用申請審批、調用周期次數的限制、黑白名單

  • 靈活度高

“服務編排“可對不同的API進行組合,支持集成python進行數據處理、支持“條件判斷”節點,選擇符合條件的分支

  • 配置靈活

橫向拓展API網關、緩存

  • 低成本運維

採用Serverless架構,只需關註API本身的業務邏輯,很少考慮運行環境等基礎設施

四、API實施落地案例

接下來我們分享三個使用客戶的實際案例,為大家介紹EasyAPI如何切實的幫助客戶解決問題。

● 金融:某證券公司應用數據服務

file

● 學校:某大學應用數據服務

file

● 零售:某網路公司應用數據服務

file

袋鼠雲開源框架釘釘技術交流qun(30537511),歡迎對大數據開源項目有興趣的同學加入交流最新技術信息,開源項目庫地址:https://github.com/DTStack


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • pwd 顯示工作路徑 shutdown -h now 關閉系統 /halt 關閉系統 shutdown -r now 重啟 / reboot 重啟 1、cd命令:這是一個非常基本,也是大家經常需要使用的命令,它用於切換當前目錄,它的參數是要切換到的目錄的路徑,可以是絕對路徑,也可以是相對路徑。如: ...
  • 環境:CentOS/Linux FFmpeg官網:http://www.ffmpeg.org 將安裝到目錄/usr/local/下 mkdir /usr/local/ffmpeg cd /usr/local/ffmpeg wget http://ffmpeg.org/releases/ffmpeg- ...
  • 鏡像下載、功能變數名稱解析、時間同步請點擊 阿裡雲開源鏡像站 準備 作為一個經常在伺服器上游走的後端,需要熟悉不少命令行操作。其中,grep、sed、awk號稱"linux三劍客",使用頻繁,功能強大,本文通過一個實例演示下基本用法。首先準備一個文本文件,命名為text.txt,內容如下: cat text ...
  • 1.官方SDK(帶Freertos)無法編譯和下載解決方案: (1)無法編譯通過:(會報一下奇奇怪怪的錯誤) 32bit MCU官方freertos的SDK編譯不通過可能是基於不同的C語言版本編寫,需要修改配置如下: (2)無法下載:本人遇到的錯誤是這個 “No Algorithm found fo ...
  • 鏡像下載、功能變數名稱解析、時間同步請點擊 阿裡雲開源鏡像站 一、什麼是MQ? 消息隊列(Message Queue,簡稱MQ),從字面意思上看,本質是個隊列,FIFO先入先出,只不過隊列中存放的內容是message而已。 其主要用途:不同進程Process/線程Thread之間通信。 隊列是一種先進先出的 ...
  • 使用yum或dnf解決rpm包的依賴關係。 YUM:Yellowdog Update Modifier。是rpm的前端程式 作用:解決軟體包之間的依賴關係 yum工作原理: yum 伺服器存放rpm包和相關rpm包的元資料庫(一個叫做repodata的文件夾--存放包的列表、依賴關係等信息) yum ...
  • 問題導入 在之前項目的基礎功能實現中,後臺管理和移動端在進行數據訪問的時候,都是直接操作資料庫MySQL。此時的系統有且僅有一臺MySQL伺服器,則可能會出現如下問題 ①、讀和寫所有壓力都由一臺資料庫承擔,壓力大 ②、資料庫伺服器磁碟損壞導致數據丟失,單點故障 解決方案 很簡單,一臺伺服器撐不住,那 ...
  • 資料庫設計的設計內容包括:需求分析、概念結構設計、邏輯結構設計、物理結構設計、資料庫的實施和資料庫的運行和維護。 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...