本文分享自華為雲社區《華為雲GES：十年磨一劍，打造業界一流的雲原生分散式圖資料庫》，作者：GES圖引擎服務小圖 。 1、淺談雲原生圖資料庫 圖資料庫（graph database）是一個使用圖結構進行語義查詢的資料庫，它使用節點、邊和屬性來表示和存儲數據。該系統的關鍵概念是圖，它直接將存儲中的數據 ...
本文分享自華為雲社區《華為雲GES：十年磨一劍，打造業界一流的雲原生分散式圖資料庫》，作者：GES圖引擎服務小圖 。
1、淺談雲原生圖資料庫
圖資料庫（graph database）是一個使用圖結構進行語義查詢的資料庫，它使用節點、邊和屬性來表示和存儲數據。該系統的關鍵概念是圖，它直接將存儲中的數據項，與數據節點和節點間表示關係的邊的集合相關聯。這些關係允許直接將存儲區中的數據連接在一起，並且在許多情況下，可以通過一個操作進行檢索。
圖資料庫強調數據之間的關係。查詢圖資料庫中的關係很快，因為它們永久存儲在資料庫本身中。可以使用圖資料庫直觀地顯示關係，使其對於高度互聯的數據非常有用。因此圖資料庫廣泛應用在互聯網、知識圖譜、金融風控等需要挖掘深度關聯關係的場景。
“到2023年，圖技術將促進全球30%企業的快速決策場景化。需要圖還是不需要？這已不再是個問題，一定是需要”，Gartner公司副總裁、傑出分析師Mark Beyer講到。
雲原生圖資料庫從名字看是從雲原生和圖資料庫概念發展而來的。而雲原生的概念通用意義上可以理解為應用以服務化或雲化的方式提供給用戶。此類雲原生圖資料庫是在雲基礎架構之上進行構建的，圖資料庫組件在雲基礎設施之上構建、部署和分發。這種雲原生屬性是它相比於其他類型圖資料庫最大的特點。作為一種雲平臺，雲原生圖資料庫以 SaaS（軟體即服務，Software-as-a-Service）的形式進行分發。
2、雲原生資料庫與其他圖資料庫解決方案有什麼不同？
從上圖的圖資料庫VS圖資料庫on雲伺服器VS雲原生圖資料庫的對比圖我們可以看到：雲原生圖資料庫因為具有即開即用、穩定可靠、管理便捷、彈性伸縮等優點，可以幫助用戶減少圖資料庫總擁有成本（TCO）和運維工作量（O&M），用戶可以將主要精力聚焦在核心業務上。
3、華為雲GES：為什麼受到客戶的廣泛認可？
華為雲圖引擎服務（GES）是一種基於華為雲基礎架構和平臺的線上數據處理圖資料庫，提供即開即用、可擴展且完全托管的分析型圖資料庫服務。作為擁有自主知識產權的分散式原生圖資料庫和圖引擎產品，提供一站式的圖存儲、圖查詢和圖計算能力，支持業界標準圖查詢語言cypher和gremlin，同時支持30+高性能演算法，覆蓋多場景分析計算，具備10+圖神經網路和圖嵌入演算法。廣泛應用於互聯網、政務、安平、稅務、電力等行業，為客戶的輔助決策、降本增效等提供專業、高效的服務。
從2013年預研到2015年GES內核Eywa研發內部立項再到現在，整十年的發展過程中，華為雲GES始終保持高強度研發投入，已經碩果纍纍。GES同時提供與HCS8.X、HCSO配套的混合雲版本。從2017年底華為雲正式公測，到目前上線華為雲國內站10+站點，海外新加坡、俄羅斯、阿聯酋、愛爾蘭、南非等站點，馬電、法電等合營雲站點，服務海內外幾十家客戶，目前呈現多點開花的局面，顯示出GES強大的產品競爭力。
十年磨一劍，GES作為國內最早發佈的雲原生分散式圖資料庫，“雲原生”優勢主要體現在如下幾個方面：
- 完全托管
GES是完全托管的線上圖資料庫服務，後臺會為每個最終租戶創建與之對應的資源租戶，部署GES需要的計算、存儲、網路等資源，均通過資源租戶發放，用戶只需通過GES提供的Portal界面或者API訪問圖資料庫即可，無需關註圖數據後臺的底層資源。GES提供了7*24小時oncall，如果這些資源發生故障（比如所在的物理機故障），oncall會立即感知到並處理，整個過程用戶無需操作，用戶省心又安心。
針對部分用戶希望感知到圖資料庫後臺資源（比如CPU、記憶體、磁碟等）以及圖資料庫關鍵指標（響應時間、容量占用等）的訴求，GES針對每個圖實例也對接了華為雲的CES服務，用戶可以在CES界面查看到GES的監控指標，並對關註的指標配置告警，一旦監控值超過閾值，可以及時通知到用戶。
- 資源動態擴展
GES提供了線上對圖實例進行擴容、擴副本的能力，實現資源動態擴展。
擴容操作一般發生在容量不足的場景，比如初始階段申請了一億規格的圖實例，後期隨著業務的增長需要擴容到十億規格，可以簡單通過界面點擊完成，整個擴容過程業務不中斷且支持從小規格一次性擴容到任意的大規格。
擴副本操作一般發生在併發性能有更高要求的場景，比如初始階段申請了一億規格的圖實例，預設GES是提供一主一從兩個副本部署方式，後期隨著業務的增長對QPS有了更高的要求，可以擴容成一主多從多個副本。擴副本整個過程可以簡單通過界面點擊完成，整個擴副本過程中業務不中斷，且支持一次性擴容多個副本。
- 版本線上升級
GES圖實例的版本支持線上升級，用戶只需要在界面點擊即可升級到最新版本，新版本可能是新需求上線、漏洞修複（包括開源軟體或者操作系統）、Bug修複等。升級過程由用戶觸發且不收取任何費用。
GES當前版本發佈周期在1個月左右，也就是說用戶的新需求最快可以1個月之內上線。GES新版本上線後，用戶通過升級即可滿足新需求。藉助華為雲內部強大的版本發佈系統，針對嚴重阻塞用戶的問題，GES能夠做到24小時修複。比如2021年Log4J爆出的“核彈級”漏洞，GES在24小時之內完成了新版本上線，上線後用戶快速升級即可完成漏洞修複。
- 容災和數據高可靠
GES實例採用一主多從架構，主從切換業務不感知，使用多副本機制保障高可用。支持跨AZ容災，單機房故障不丟數據、不中斷業務，RTO秒級。
圖實例支持手工備份和自動備份兩種備份方式。手工備份用戶可以在界面點擊觸發，一般用作重大變更（比如升級或者數據清空）前生成一個數據快照，如果變更問題可以及時將數據會退到該快照。自動備份是圖資料庫內部的行為，為數據可靠性服務。如果伺服器發生宕機，GES後臺會通過自動備份和寫日誌，快速進行數據恢復，確保數據不丟失。
GES實例支持跨AZ部署，用戶只需要在發放圖實例時勾選上啟用跨AZ即可，無需額外費用。主從集群數據跨機房存放，實現單機房故障不丟數據。業務計算資源跨機房調度，單機房故障不中斷業務。且在正常情況下，計算和數據在數據中心內部交互，減少機房間帶寬消耗。
- KMS數據加密
如上面所講，GES是完全托管的服務，用戶的備份數據是存儲到資源租戶的OBS桶上面，針對部分用戶數據密級較高的場景，GES提供了基於KMS服務的數據加密方案。
GES加密存儲的客戶數據包括兩種：
1、客戶原始數據：支持創建的元數據文件存儲到OBS上時加密。
2、導入到圖系統裡面的數據：
（1）String類型的屬性會存儲到雲硬碟EVS，支持對EVS加密。
（2）增量備份、全量備份會備份到OBS/HDFS，支持對增量備份和全量備份的加密。
GES提供了基於KMS服務的數據加密方案，如下圖所示：
站在管理面視角：
❶租戶管理員登錄華為公有雲後，在GES Console上申請創建加密實例；
❷ GES Service接收到創建加密實例請求後，向KMS Service申請主密鑰和集群密鑰，並生成資料庫密鑰下發給GES內核；
❸ GES業務實例在初始化時載入密鑰，並加密保存。
站在數據面視角：
❹客戶導入點、邊數據集、Schema文件，支持這些數據存儲在OBS時使用KMS加密；
❺ 若用戶創建圖備份，則在記憶體數據加密後生成備份數據並存儲到OBS；若用戶從備份恢復圖，則從OBS下載備份數據，然後解密後載入到記憶體。
- 安全性
GES提供多個特性來保障租戶圖實例的可靠性和安全性，例如VPC、安全組、許可權設置、SSL連接、手動/自動備份等，如下圖所示：
-
- 網路隔離：VPC 允許租戶通過配置 VPC 入站 IP 範圍來控制連接圖實例的 IP 地址段。GES實例運行在租戶獨立的 VPC 內。租戶可以創建一個跨可用區的子網組，之後可以根據業務需要，將部署 GES的實例選擇此子網完成，GES 在創建完實例後會為租戶分配此子網的 IP 地址，用於連接GES實例。GES 實例部署在租戶 VPC 後，租戶可通過 VPN 使其它 VPC 能夠訪問實例所在 VPC，也可以在 VPC 內部創建 ECS，通過私有 IP 連接GES實例。租戶可以綜合運用子網和安全組的配置，來完成GES實例的隔離，提升實例的安全性。
- 認證鑒權：GES實例任何操作，都需要進行IAM認證鑒權。
- 訪問控制：租戶可以為不同的用戶組分配不同的GES許可權，包括GES Administrator、GES Super User、GES Operator許可權。GES Administrator擁有GES的最高許可權，可以對GES資源進行任意操作；GES Super User擁有除創建和刪除GES實例以外的所有操作許可權，包括GES實例的啟動/停止、導入/導出，GES實例的訪問等操作；GES Operator擁有GES實例的訪問操作，無法進行GES實例的資源類操作。
- 存儲加密：GES支持讀取加密存儲到OBS的數據，加密密鑰由 KMS 管理。
- 備份與恢復：GES 提供自動/手動兩種備份方法，執行備份後會對整個GES實例進行全量備份，這些備份數據存儲在華為 OBS 桶中，當用戶刪除實例時，會同步刪除 OBS 桶中的備份。用戶也可以從已有的備份恢復到實例。
- 數據安全：用戶刪除 GES 實例時，存儲在GES實例中的數據都會被刪除，任何人都無法查看及恢複數據。
- 主機安全：GES基於華為雲內部歐拉操作系統，做了多種加固，定期更新操作系統最新補丁。採用圖實例升級的方式，用戶可以及時修複OS漏洞。
- 細粒度許可權控制：
在企業生產裡面，許可權控制尤為重要。例如，在公司裡面，HR部門才能看到績效、級別等信息；財務部門才肯看到賬號、轉賬等信息；而其他信息公開，公司內所有員工都可以看到。
GES圖實例提供了界面化的細粒度許可權控制，可對特定Label的特定屬性設置遍歷（traverse）、讀、寫許可權。適用於企業對不同部門的許可權設置，並對用戶組進行授權，許可權模型如下圖所示：
- 過載控制
過載，是服務或應用處理的請求超過了自身所能承載的能力，造成服務或應用自身處理請求時延變慢、錯誤率增加，或者請求失敗，乃至服務中斷。GES圖實例內部集成了過載控制組件，提供了流控、降級、熔斷等機制幫助業務實現過載保護。
GES按需地為每個圖實例預置了系統CPU、系統記憶體、應用JVM記憶體、應用連接數、應用任務阻塞數等5種過載指標，確保整個系統不會被惡意或者無意的瞬時高併發容量衝垮。而且一旦發生過載，GES還可以根據用戶訴求設置降級策略，確保這一異常情況下用戶的核心業務核心API不受影響。
- 支持HCS、HCSO、華為雲多種形態
針對不同客戶對雲形態的要求，GES提供 HCS、HCSO、華為雲等多種雲形態的版本，配套HCS8.X和HCSO 23.3.0、23.9.0等版本，方便用戶選擇不同場景下的雲服務。
