必看!如何讓你的LBS服務性能提升十倍!

来源:https://www.cnblogs.com/qcloud1001/archive/2019/02/22/10419944.html
-Advertisement-
Play Games

本文由雲+社區發表 作者:騰訊雲資料庫團隊 隨著國內服務共用化的熱潮普及,共用單車,共用雨傘,共用充電寶等各種服務如雨後春筍,隨之而來的LBS服務定位問題成為了後端服務的一個挑戰。MongoDB對LBS查詢的支持較為友好,也是各大LBS服務商的首選資料庫。騰訊雲MongoDB團隊在運營中發現,原生M ...


本文由雲+社區發表

作者:騰訊雲資料庫團隊

隨著國內服務共用化的熱潮普及,共用單車,共用雨傘,共用充電寶等各種服務如雨後春筍,隨之而來的LBS服務定位問題成為了後端服務的一個挑戰。MongoDB對LBS查詢的支持較為友好,也是各大LBS服務商的首選資料庫。騰訊雲MongoDB團隊在運營中發現,原生MongoDB在LBS服務場景下有較大的性能瓶頸,經騰訊雲團隊專業的定位分析與優化後,雲MongoDB在LBS服務的綜合性能上,有10倍以上的提升。 騰訊雲MongoDB提供的優異綜合性能,為國內各大LBS服務商,例如摩拜單車等,提供了強有力的保障。

LBS業務特點

以共用單車服務為例,LBS業務具有2個特點,分別是時間周期性和坐標分佈不均勻。

一.時間周期性

高峰期與低谷期的QPS量相差明顯,並且高峰期和低峰期的時間點相對固定。

img

二.坐標分佈不均勻

坐地鐵的上班族,如果留意可能會發現,在上班早高峰時,地鐵周圍擺滿了共用單車,而下班 時段,地鐵周圍的共用單車數量非常少。如下圖,經緯度(121,31.44)附近集中了99%以上 的坐標。此外,一些特殊事件也會造成點的分佈不均勻,例如深圳灣公園在特殊家假日涌入大量的客戶,同時這個地域也會投放大量的單車。部分地域單車量非常集中,而其他地域就非常稀疏。

img

MongoDB的LBS服務原理

MongoDB中使用2d_index 或2d_sphere_index來創建地理位置索引(geoIndex),兩者差別不大,下麵我們以2d_index為例來介紹。

一.2D索引的創建與使用

db.coll.createIndex({"lag":"2d"}, {"bits":int}))
通過上述命令來創建一個2d索引,索引的精度通過bits來指定,bits越大,索引的精度就越高。更大的bits帶來的插入的overhead可以忽略不計
db.runCommand({
geoNear: tableName,
maxDistance: 0.0001567855942887398,
distanceMultiplier: 6378137.0,
num: 30,
near: [ 113.8679388183982, 22.58905429302385 ],
spherical: true|false})

通過上述命令來查詢一個索引,其中spherical:true|false 表示應該如何理解創建的2d索引,false表示將索引理解為平面2d索引,true表示將索引理解為球面經緯度索引。這一點比較有意思,一個2d索引可以表達兩種含義,而不同的含義是在查詢時被理解的,而不是在索引創建時。

二.2D索引的理論 MongoDB 使用GeoHash的技術來構建2d索引(見wiki geohash 文字鏈 https://en.wikipedia.org/wiki/Geohash )。MongoDB使用平面四叉樹劃分的方式來生成GeoHashId,每條記錄有一個GeoHashId,通過GeoHashId->RecordId的索引映射方式存儲在Btree中

img

很顯然的,一個2bits的精度能把平面分為4個grid,一個4bits的精度能把平面分為16個grid。 2d索引的預設精度是長寬各為26,索引把地球分為(2^26)(2^26)塊,每一塊的邊長估算為2PI6371000/(1<<26) = 0.57 米 mongodb的官網上說的60cm的精度就是這麼估算出來的 By default, a 2d index on legacy coordinate pairs uses 26 bits of precision, which isroughly equivalent to 2 feet or 60 centimeters of precision using the default range of-180 to 180

三.2D索引在Mongodb中的存儲

上面我們講到Mongodb使用平面四叉樹的方式計算Geohash。事實上,平面四叉樹僅存在於運算的過程中,在實際存儲中並不會被使用到。

插入 對於一個經緯度坐標[x,y],MongoDb計算出該坐標在2d平面內的grid編號,該編號為是一個52bit的int64類型,該類型被用作btree的key,因此實際數據是按照 {GeoHashId->RecordValue}的方式被插入到btree中的。

查詢 對於geo2D索引的查詢,常用的有geoNear和geoWithin兩種。geoNear查找距離某個點最近的N個點的坐標並返回,該需求可以說是構成了LBS服務的基礎(陌陌,滴滴,摩拜),geoWithin是查詢一個多邊形內的所有點並返回。我們著重介紹使用最廣泛的geoNear查詢。

geoNear的查詢過程,查詢語句如下

db.runCommand(
{
geoNear: "places", //table Name
near: [ -73.9667, 40.78 ] , // central point
spherical: true, // treat the index as a spherical index
query: { category: "public" } // filters
maxDistance: 0.0001531 // distance in about one kilometer
}

img

geoNear可以理解為一個從起始點開始的不斷向外擴散的環形搜索過程。如下圖所示: 由於圓自身的性質,外環的任意點到圓心的距離一定大於內環任意點到圓心的距離,所以以圓 環進行擴張迭代的好處是: 1)減少需要排序比較的點的個數 2)能夠儘早發現滿足條件的點從而返回,避免不必要的搜索 MongoDB在實現的細節中,如果內環搜索到的點數過少,圓環每次擴張的步長會倍增

MongoDB LBS服務遇到的問題

部分大客戶在使用MongoDB的geoNear功能查找附近的對象時,經常會發生慢查詢較多的問題,早高峰壓力是低谷時段的10-20倍,坐標不均勻的情況慢查詢嚴重,瀕臨雪崩。初步分析發現,這些查詢掃描了過多的點集。 如下圖,查找500米範圍內,距離最近的10條記錄,花費了500ms,掃描了24000+的記錄。類似的慢查詢占據了高峰期5%左右的查詢量

img

測試環境復現與定位 排查資料庫的性能問題,主要從鎖等待,IO等待,CPU消耗三封面分析。上面的截圖掃描了過多的記錄,直覺上是CPU或者IO消耗性的瓶頸。為了嚴謹起見,我們在測試環境復現後,發現慢日誌中無明顯的timeAcquiringMicroseconds項排除了MongoDB執行層面的鎖競爭問題,並選用較大記憶體的機器使得數據常駐記憶體,發現上述用例依舊需要200ms以上的執行時間。10核的CPU資源針對截圖中的case,只能支持50QPS。

img

img

為何掃描集如此大 上面我們說過,MongoDB搜索距離最近的點的過程是一個環形擴張的過程,如果內環滿足條件的點不夠多,每次的擴張半徑都會倍增。因此在遇到內環點稀少,外環有密集點的場景時,容易陷入BadCase。如下圖,我們希望找到離中心點距離最近的三個點。由於圓環擴張太快,外環做了很多的無用掃描與排序。 這樣的用例很符合實際場景,早高峰車輛聚集在地鐵周圍,你從家出發一路向地鐵,邊走邊找,共用單車軟體上動態搜索距你最近的10輛車,附近只有三兩輛,於是擴大搜索半徑到地鐵周圍,將地鐵周圍的所有幾千輛車都掃描計算一遍,返回距離你最近的其餘的七八輛

img

問題的解決

問題我們已經知道了,我們對此的優化方式是控制每一圈的搜索量,為此我們為geoNear命令增加了兩個參數,將其傳入NearStage中。hintCorrectNum可以控制結果品質的下限,返回的前N個一定是最靠近中心點的N個點。hintScan用以控制掃描集的大小的上限。

hintScan: 已經掃描的點集大小大於hintScan後,做模糊處理。 hintCorrectNum:已經返回的結果數大於hintCorrectNum後,做模糊處理。

img

該優化本質上是通過犧牲品質來儘快返回結果。對於國內大部分LBS服務來說,完全的嚴格最近並不是必要的。且可以通過控制參數獲得嚴格最近的效果。在搜索過程中,密集的點落到一個環內,本身距離相差也不會不大。該優化在上線後,將部分大客戶的MongoDB性能上限從單機1000QPS提升了10倍到10000QPS以上。

img

img

和Redis3.2的對比

Redis3.2也加入了地理位置查詢的功能,我們也將開源Redis和雲資料庫MongoDB進行對比。 Redis使用方式:GEORADIUS appname 120.993965 31.449034 500 m count 30 asc。在密集數據集場景下,使用騰訊雲MongoDB和開源的Redis進行了性能對比。下圖是在密集數據集上,在24核CPU機器上,MongoDB單實例與Redis單實例的測試對比。需要註意的是Redis本身是單線程的記憶體緩存資料庫。MongoDB是多線程的高可用持久化的資料庫,兩者的使用場景有較大不同。

img

總結

MongoDB原生的geoNear介面是國內各大LBS應用的主流選擇。原生MongoDB在點集稠密的情況下,geoNear介面效率會急劇下降,單機甚至不到1000QPS。騰訊雲MongoDB團隊對此進行了持續的優化,在不影響效果的前提下,geoNear的效率有10倍以上的提升,為我們的客戶如摩拜提供了強力的支持,同時相比Redis3.2也有較大的性能優勢。

此文已由騰訊雲+社區在各渠道發佈

獲取更多新鮮技術乾貨,可以關註我們騰訊雲技術社區-雲加社區官方號及知乎機構號


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 1、firewalld的基本使用 啟動: systemctl start firewalld 關閉: systemctl stop firewalld 查看狀態: systemctl status firewalld 開機禁用 : systemctl disable firewalld 開機啟用 : ...
  • Centos 安裝企業wiki confluence是一個專業的企業知識管理與協同軟體,可以用於構建企業wiki。通過它可以實現團隊成員之間的協作和知識共用。現在大多數公司都會部署一套confluence,用作內部wiki。現在confluence已收費,那麼下麵將介紹下安裝破解confluence ...
  • 轉自:http://blog.sina.com.cn/s/blog_537de4b5010128al.html Windows2008 安裝組件服務等內容比原來複雜的多,用滑鼠點來點去,既繁瑣也緩慢,所幸微軟提供了命令行工具ServerManagerCmd.exe 用法: ServerManager ...
  • 前言 安裝前的準備: 1.Chrome 瀏覽器的擴展插件來進行的安裝,並非單獨應用程式。 2.電腦上已經安裝了 Chrome 瀏覽器 3.本文章適用操作系統 window7 一,非官方安裝 個人不建議使用官方安裝(太慢了,限制太多主要是money有限啊!) 第一步:下載壓縮包,保存到自己喜歡的盤符( ...
  • 1.調度器配置: docker run -p 80:80 --name nginx --restart=always -v /root/nginx/www/:/usr/share/nginx/html -v /root/nginx/conf/conf.d:/etc/nginx/conf.d -v / ...
  • 如何設置Linux(Centos)系統定期任務(corntab詳細用法) 1.Corntab簡介 Linux 系統則是由 cron (crond) 這個系統服務來控制的。Linux 系統上面原本就有非常多的計劃性工作,因此這個系統服務是預設啟動的。另外,由於使用者自己也可以設置計劃任務,所以,Lin ...
  • 1、安裝java jdk 將jdk 8u201 linux x64.tar.gz上傳到該目錄 在文件末尾加入以下內容 裝載配置文件,配置立即生效 通過java version命令驗證安裝 顯示下方這樣,安裝成功 2、安裝Kafka 將kafka_2.11 2.1.0.tgz上傳至該目錄 3、編輯Ka ...
  • MySQL高性能優化系列 目錄 (1) "Mysql高性能優化規範建議" (2) "電商資料庫表設計" (3) "MySQL分區表使用方法" (4) "MySQL執行計劃分析" (5) "電商場景下的常見業務SQL處理" (6) "MySQL慢查詢日誌的使用" (7) "MySQL資料庫備份詳解" ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...