設計是一個讓人夢想成真過程,開始編碼、測試、調試之前進行需求分析和架構設計,才能保證關鍵方面都做正確 ...
作者:京東科技 劉宗愷
一、項目背景
北京市疫情防控一體化平臺是以“京辦”為支撐,集病例流調、排查管控、隔離管理、人員轉運、監測評估於一體的疫情防控平臺,秉承五位一體統籌、現有體系融通、共性能力支撐、高效部門系統、快速局部突破的理念,進行建設。
1.1 技術挑戰
功能:多系統協作、多端支持、多角色支持
非功能: 數據、安全、事件高併發的支撐
1.2 架構挑戰
龐大多系統流轉集成方案、政務網互聯網的多端開發適配
需求變更下的靈活設計、數據流設計
二、系統架構設計
防疫系統五位一體的模塊拆分:
2.1 確定業務的主題邊界
2.2 全景分析-領域事件流
2.3 場景驅動-分解任務
2.4 業務中台
2.5 數據治理
2.6 人員數據鮮活
三、性能、穩定性設計
3.1 應用層
3.1.1 系統穩定性
3.1.2 系統高可用
高可用:故障頻率要低、故障範圍要小、故障恢復要快
3.1.3 系統柔性可用
3.1.4 事務中不包含外部調用(不建議)
3.1.5 人員核酸比對
•安全保障:系統安全、網路安全、數據安全
•高可用性:數據備份、負載均衡、異地多活
•容量預測:預計最大抗原檢測結果上報
3.2 網路層(流量管控)
•五位一體系統分別部署在多朵雲,Keepalived、心跳、故障轉移。
•專線帶寬及現在使用情況,專線是否與其他業務系統共用,是否有備線。
•機房出入口網路監控,每個機房流量是否均衡,或每台機器的流量是否均衡。
•網路出、入口穩定性做好監控及應急方案。
•流量負載,限流。
•多級負載架構:(級聯層次越多,請求在系統中的路徑越長,系統性能相應也會受一定影響)
3.3 數據層
3.3.1 容災備份
•容災系統按國際標準分為七個層次,0級:無異地備份,1級:實現異地備份,2級:熱備份站點備份,3級:線上數據備份,4級:定時數據備份,5級:實時數據備份,6級:零數據丟失。
•排查管控模塊:風險人員研判,大數據時空篩查的相關能力和數據,需做到定時數據備份。
3.3.2 異地多活
•數據同步(資料庫出現異常主從節點,故障轉移)
•冗餘的越多,系統的故障率就越低,並且是呈指數級降低。
•任何一地故障,另一地都可提供完整服務。
•多機房同時對外提供服務,確保服務隨時可用。同時儘量可以實現同機房調用。
3.4 特殊壓測
•全場景壓測,壓測共用資源瓶頸,如用到了加解密的服務特別壓測下加解密。
•混沌測試,模擬cpu使用率過高、記憶體過高、磁碟空間滿了;應用連接的資料庫超時、緩存超時、依賴服務中斷等。
chaosblade支持模擬的場景:
定位分析:
四、通用性設計
面向未來考慮:不僅僅是五位一體,跨場景:通用性和普適性設計,跨區域跨城市:換一套區域是否可以復用,比如在另一個城市建立一個相同的項目。
4.1 泛化場景(自上而下/自下而上)
4.2 抽象流程編排能力
•編排利器:對於複雜的業務邏輯,需要按業務最小粒度實現一個個組件,每個組件保持單一職責。同時定義一個編排規則文件, 即可使複雜業務系統最大程度解耦,同時最大化程度實現組件復用,組件熱編排等獨有特性。
•優雅穩定:所有的組件互相獨立且統一,利用上下文數據槽來傳遞信息,不同線程之間的數據槽安全隔離。
•規則輕量:串列,並行,條件選擇,多層嵌套子流程等。 可以在規則中嵌入JavaScriopt,Groovy等腳本語言,可以實現熱刷新的特性。
•監控治理:監控每個組件的運行耗時,統計每個組件排行。
•可視化操作:支持頁面動態編排組件服務。
4.3 泛化場景(AI賦能)
項目成本:人力成本,實施成本、項目交付吃緊,通過AI賦能,減少一部分工作量,推進和實施工作。
通過AI視頻化能力,降低運營側交付成本,通過可視化平臺手段的手段,低成本、高效率自動化生成視頻。
•PPT+非線性編輯系統
•文案轉換成視頻的過程
•FAQ問題環節
洽談、講解、展示;收集客戶反饋問題,通過數字人視頻播報,減少實施交付成本。
五、收穫沉澱
•設計是一個讓人夢想成真過程,開始編碼、測試、調試之前進行需求分析和架構設計,才能保證關鍵方面都做正確;
•穩定的需求只是一個神話,架構的好壞,很大部分取決於它應對變化靈活性。如何複雜去掉而得到簡單,是一種抽象;
•架構設計終極目標,用最小的人力成本來滿足構建和維護該系統的需求。面向未來考慮:通用和擴展性;
CASE分享 -智能視頻生產平臺
1 業務與技術需求簡介
•智能視頻生產平臺,是基於語音TTS、2D真人+3D卡通數字人、多樣化圖表、視覺演算法融合、動畫渲染等智能AI方式進行視頻合成的過程。可基於講解文案生成每種元素的子視頻,將每個子視頻按照一定的時間順序和空間位置組合起來,生成最終的視頻。
2 技術與業務場景引入、相關人、態度、立場
•支持對內對外多個場景的視頻生產需求,具備了高質量視頻的規範化生產能力。可根據產品特征和數據缺失情況,自適應增減版式內容;
•視頻元素生成包括文字、前景、背景等元素的展示效果:
•智能字幕:實現了文本重要信息的自動提取與強調效果,並能夠根據文本內容進行合理的字幕分頁分行;
•圖文關聯:已積累近千張金融領域的圖片素材,通過文本中的關鍵字與圖片素材標簽的對應規則,實現了從文本到圖片的自動映射,增強視頻的動態效果;
•數據可視化:實現了數據的動態可視化引擎,可根據請求選擇相應的動態圖表,支持折線圖、柱狀圖、餅圖等一系列圖表類型;
3 場景下的問題、挑戰、衝突是什麼
•在搭建這個平臺過程中也遇到一些挑戰,比如視頻模板多,業務場景多。大家對於細節調整是非常頻繁。當發現這個情況後,意識到API模式已無法滿足端到端應用訴求,需要提供一套可視化平臺,能夠具備一些標準化、自動化的能力,以更好的支持業務。因此我們設計了一套線上可視化編輯器,既能滿足演算法設計運營調優和反饋,又能沉澱形象、聲音模板等,大大提升了我們平臺的復用性。
4 如何分析技術與業務場景,如何形成研發或應用策略
•技術選型,抽象一套公共視頻組件及模板IR層,用了IR平臺之後,如新加數字人需求,只需要修改部分IR數據,可以無縫接入整個平臺,復用原來能力。
5 做了什麼,取得了什麼效果、反饋
•首先在科技內部做了視頻說明書、保險、金融百科、基金種草,完成了每月3150只視頻線上投放,效果優於外部引入。為C端業務提供批量化、規範化的視頻生產服務。
•保險知識講解,每周投放7條視頻,在視頻號、抖音、快手等平臺的交互數據與真人錄製視頻持平。
•視頻說明書,每月完成2400+視頻合成,替代外部引入,轉化率較圖文形式有明顯提升。
•零售小家電,已與7家品牌商建立合作,累計投放100個視頻,商詳頁視頻轉化率高於其他頁面,購買轉化率較靜態圖片介紹方式提升。通過實效視頻資訊來吸引用戶,增強用戶黏性。
•每日經濟新聞,批量生產新聞資訊視頻,客戶在兩會期間使用,效果獲媒體一致好評。樹立公司品牌形象。
•人民日報,批量生產新聞資訊視頻,客戶已在全國範圍內的20000+大屏幕推廣。
京東雲、百度APP數字人聯合解讀618消費趨勢,降本增效釋放商業價值;數據顯示,微博閱讀總量超1.2億,微博視頻熱搜榜前10位。
通過視頻生產平臺製作編輯,數字人形象成功登錄京東雲峰會城市、零售主題論壇,展示效果從聲音、圖像、清晰度、動作得到現場嘉賓與運營方高度認可。