走好數據中台最後一公裡,為什麼說數據服務API是數據中台的標配?

来源:https://www.cnblogs.com/DTinsight/archive/2022/06/23/16404812.html
-Advertisement-
Play Games

原文鏈接:走好數據中台最後一公裡,數據服務API是數據中台的標配 視頻回顧:點擊這裡 課件獲取:點擊這裡 一、數據服務API建設背景 在數字化轉型的時代背景下,新需求的大量增長、新技術的不斷迭代,“互聯網化、數字化”進程的不斷深入,越來越多的業務被遷移到互聯網上,產生大量的業務交互和對外服務需求,對 ...


原文鏈接:走好數據中台最後一公裡,數據服務API是數據中台的標配

視頻回顧:點擊這裡

課件獲取:點擊這裡

一、數據服務API建設背景

在數字化轉型的時代背景下,新需求的大量增長、新技術的不斷迭代,“互聯網化、數字化”進程的不斷深入,越來越多的業務被遷移到互聯網上,產生大量的業務交互和對外服務需求,對API介面的需求與日俱增,如何快速提升企業數據開放共用能力,是企業面臨數字化轉型的關鍵命題。

file

傳統的方式如後端開發人員通過 Java 或 Python 等語言進行編寫來生成 API 介面,開發周期過長,運維成本太高,已經不能滿足企業的需求。企業在數字化轉型過程往往面臨諸多難題:

file

為了更多的解決這些問題,我們在企業開放、共用數據過程中需要確定以下目標:

  • 快速構建 API

  • 系統穩定、數據安全

  • 易於集成使用

  • 授權交付

  • 低成本運維

file

二、數據服務平臺建設方法論

在分享數據服務平臺建設方法論之前,我們先瞭解一下常見的數據中台應用架構:

file

數據服務層作為數據中台整體應用架構中處於中間地位,將數據計算層的結果通過數據API的形式對外共用給數據應用層。數據服務層主要有3個作用:

1、當數據已被整合和計算好之後,需要提供給產品和應用進行數據消費;

2、為了有更好的性能和體驗,構建數據服務層,通過介面服務化方式對外提供數據服務;

3、滿足應用各種複雜的數據服務需求(簡單數據查詢服務、複雜數據查詢服務、實時數據推送)

而在數據服務層對外提供服務的過程中,經歷了從“DWSOA”“OneService”的演變過程。

file

從“OneService”數據服務本身來說,主要是解決異構數據源、重覆建設、審計運維困難、理解困難這4個問題,通過“OneService”服務,實現主題式數據服務、統一且多樣化數據服務、跨源數據服務的服務目標。

因此,若想構建一個完整的數據服務平臺,需要具備以下6個要素:

  • 便捷開發,具備低代碼化的開發能力

  • 易於管理,API管理操作可視化查詢API

  • 易於使用,具備規範化的文檔描述信息

  • 安全穩定,服務調用追蹤監控、服務使用審計、鑒權等

  • 易於運維,測試、糾查、問題規則配置

  • 性能,負載均衡、高併發

三、基於OneService構建數據體系

瞭解完“OneService”理論,接下來為大家分享如何基於OneService構建數據體系,主要遵循以下步驟:

file

● 第一步:API定義

API的定義包括:快速配置參數、選擇排序欄位、API類型多樣性、數據預覽、複製欄位等方面。

file

API的類型又包括生成API、註冊API、服務分組及服務編排這4個方面。

file

file

● 第二步:API發佈

API的發佈包括測試、提交至API網關、發佈至API市場、版本管理這幾個方面。

file

● 第三步:API調用

API調用包括數據預覽、API申請、審批、下載介面文檔、正式調用這幾個方面。

file

● 第四步:調用監控

業務上:對API調用的統計數據進行深入的分析,進而得出關鍵信息;

技術上:通過API調用的統計圖表進行分析可以發現,哪些API最受歡迎;而哪些幾乎無人問津,應該被淘汰;

安全上:對調用IP、調用次數進行監控,對調用者進行溯源。

file

● 第五步:數據安全

數據安全包括:統一認證鑒權、傳輸加密、安全組、角色分配、行級許可權、調用審批等。

file

上述的數據服務API的建設過程,其實正是袋鼠雲自研的數棧數據服務EasyAPI產品的落地實踐過程。

數據服務(EasyAPI),高效的企業級數據服務產品,通過雙模式可視化配置生成與註冊API,快速構建OneService數據共用服務,形成企業級的API市場和API服務管理平臺,提高數據開放與共用效率。

file

同時產品具備以下特點:

  • 快速構建

配置即開發,支持0代碼、低代碼快速構建API

  • 安全性高

用戶認證、監控、傳輸加密、API級別安全策略、行級許可權、角色分配、調用申請審批、調用周期次數的限制、黑白名單

  • 靈活度高

“服務編排“可對不同的API進行組合,支持集成python進行數據處理、支持“條件判斷”節點,選擇符合條件的分支

  • 配置靈活

橫向拓展API網關、緩存

  • 低成本運維

採用Serverless架構,只需關註API本身的業務邏輯,很少考慮運行環境等基礎設施

四、API實施落地案例

接下來我們分享三個使用客戶的實際案例,為大家介紹EasyAPI如何切實的幫助客戶解決問題。

● 金融:某證券公司應用數據服務

file

● 學校:某大學應用數據服務

file

● 零售:某網路公司應用數據服務

file

袋鼠雲開源框架釘釘技術交流qun(30537511),歡迎對大數據開源項目有興趣的同學加入交流最新技術信息,開源項目庫地址:https://github.com/DTStack


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • pwd 顯示工作路徑 shutdown -h now 關閉系統 /halt 關閉系統 shutdown -r now 重啟 / reboot 重啟 1、cd命令:這是一個非常基本,也是大家經常需要使用的命令,它用於切換當前目錄,它的參數是要切換到的目錄的路徑,可以是絕對路徑,也可以是相對路徑。如: ...
  • 環境:CentOS/Linux FFmpeg官網:http://www.ffmpeg.org 將安裝到目錄/usr/local/下 mkdir /usr/local/ffmpeg cd /usr/local/ffmpeg wget http://ffmpeg.org/releases/ffmpeg- ...
  • 鏡像下載、功能變數名稱解析、時間同步請點擊 阿裡雲開源鏡像站 準備 作為一個經常在伺服器上游走的後端,需要熟悉不少命令行操作。其中,grep、sed、awk號稱"linux三劍客",使用頻繁,功能強大,本文通過一個實例演示下基本用法。首先準備一個文本文件,命名為text.txt,內容如下: cat text ...
  • 1.官方SDK(帶Freertos)無法編譯和下載解決方案: (1)無法編譯通過:(會報一下奇奇怪怪的錯誤) 32bit MCU官方freertos的SDK編譯不通過可能是基於不同的C語言版本編寫,需要修改配置如下: (2)無法下載:本人遇到的錯誤是這個 “No Algorithm found fo ...
  • 鏡像下載、功能變數名稱解析、時間同步請點擊 阿裡雲開源鏡像站 一、什麼是MQ? 消息隊列(Message Queue,簡稱MQ),從字面意思上看,本質是個隊列,FIFO先入先出,只不過隊列中存放的內容是message而已。 其主要用途:不同進程Process/線程Thread之間通信。 隊列是一種先進先出的 ...
  • 使用yum或dnf解決rpm包的依賴關係。 YUM:Yellowdog Update Modifier。是rpm的前端程式 作用:解決軟體包之間的依賴關係 yum工作原理: yum 伺服器存放rpm包和相關rpm包的元資料庫(一個叫做repodata的文件夾--存放包的列表、依賴關係等信息) yum ...
  • 問題導入 在之前項目的基礎功能實現中,後臺管理和移動端在進行數據訪問的時候,都是直接操作資料庫MySQL。此時的系統有且僅有一臺MySQL伺服器,則可能會出現如下問題 ①、讀和寫所有壓力都由一臺資料庫承擔,壓力大 ②、資料庫伺服器磁碟損壞導致數據丟失,單點故障 解決方案 很簡單,一臺伺服器撐不住,那 ...
  • 資料庫設計的設計內容包括:需求分析、概念結構設計、邏輯結構設計、物理結構設計、資料庫的實施和資料庫的運行和維護。 ...
一周排行
    -Advertisement-
    Play Games
  • 在一些複雜的業務表中間查詢數據,有時候操作會比較複雜一些,不過基於SqlSugar的相關操作,處理的代碼會比較簡單一些,以前我在隨筆《基於SqlSugar的開發框架循序漸進介紹(2)-- 基於中間表的查詢處理》介紹過基於主表和中間表的聯合查詢,而往往實際會比這個會複雜一些。本篇隨筆介紹聯合多個表進行... ...
  • 從按鈕、文本框到下拉框、列表框,WPF提供了一系列常用控制項,每個控制項都有自己獨特的特性和用途。通過靈活的佈局容器,如網格、堆棧面板和換行面板,我們可以將這些控制項組合在一起,實現複雜的界面佈局。而通過樣式和模板,我們可以輕鬆地定製控制項的外觀和行為,以符合我們的設計需求。本篇記錄WPF入門需要瞭解的樣式... ...
  • 以MySQL資料庫為例 # 一. 安裝 NuGet搜索Dapper.Lite並安裝最新版本。 ![](https://img2023.cnblogs.com/blog/174862/202306/174862-20230602155913303-757935399.jpg) NuGet搜索MySql ...
  • # 圖片介面JWT鑒權實現 # 前言 之前做了個返回圖片鏈接的介面,然後沒做授權,然後今天鍵盤到了,也是用JWT來做介面的許可權控制。 然後JTW網上已經有很多文章來說怎麼用了,這裡就不做多的解釋了,如果不懂的可以參考下列鏈接的 文章。 圖片介面文章:[還在愁個人博客沒有圖片放?](https://w ...
  • ![線程各屬性縱覽](https://img2023.cnblogs.com/blog/1220983/202306/1220983-20230603114109107-477345835.png) 如上圖所示,線程有四個屬性: - 線程ID - 線程名稱 - 守護線程 - 線程優先順序 ### 1. ...
  • 本次主要介紹golang中的標準庫`bytes`,基本上參考了 [位元組 | bytes](https://cloud.tencent.com/developer/section/1140520) 、[Golang標準庫——bytes](https://www.jianshu.com/p/e6f7f2 ...
  • 歡迎來到本篇文章!通過上一篇什麼是 Spring?為什麼學它?的學習,我們知道了 Spring 的基本概念,知道什麼是 Spring,以及為什麼學習 Spring。今天,這篇就來說說 Spring 中的核心概念之一 IoC。 ...
  • # 2022版本IDEA+Maven+Tomcat的第一個程式(傻瓜教學) ​ 作為學習Javaweb的一個重要環節,如何實現在IDEA中利用Maven工具創建一個Javaweb程式模版並連接Tomcat發佈是非常重要的。我比較愚鈍(小白),而且自身電腦先前運行過spring或maven的程式,系統 ...
  • 本篇專門扯一下有關 QCheckBox 組件的一個問題。老周不水字數,直接上程式,你看了就明白。 #include <QApplication> #include <QWidget> #include <QPushButton> #include <QCheckBox> #include <QVBo ...
  • # 1.列表數據元素排序 在創建的列表中,數據元素的排列順序常常是無法預測的。這雖然在大多數情況下都是不可避免的,但經常需要以特定的順序呈現信息。有時候希望保留列表數據元素最初的排列順序,而有時候又需要調整排列順序。python提供了很多列表數據元素排序的方式,可根據情況選用。 ## 1.永久性排序 ...