在ByteHouse的支持下,目前該公司在銷售數據的非ACL查詢和ACL查詢兩個方向上,都實現了查詢效率的顯著提升。以ACL查詢的60M廣告客戶DI場景為例,查詢效率已經從從優化前的16秒大幅縮短至如今的1秒,效率提升高達16倍。 ...
更多技術交流、求職機會,歡迎關註位元組跳動數據平臺微信公眾號,回覆【1】進入官方交流群。銷售數據,是反映市場趨勢、消費者行為以及產品表現的重要指標,也是企業做出精準決策的關鍵依據。因此,對銷售數據進行全面利用、高效分析與合規管理,在企業經營中占據著重要地位。 為了更高效、安全地使用銷售數據,某公司引入了開源ClickHouse作為數據分析引擎,將分散的銷售數據統一到一套可視化分析平臺中,並採用鑒權ACL模式來精細化管理企業內部員工的看數、用數許可權。 但實際上,該公司銷售數據平臺在引入鑒權ACL後,出現了性能不足、用戶體驗受損的狀況。其一,ClikHouse的性能難以滿足複雜且量級巨大的查詢需求,使得集群複雜惡化;其二,ClickHouse集群的CPU使用率長期處於打滿狀態對用戶體驗造成影響。 為瞭解決以上問題,在複雜查詢領域具備顯著優勢且完全相容ClickHouse的ByteHouse成為該公司遷移首選。 據瞭解,ByteHouse支持優化器和MPP執行模型,能夠較好地支持複雜join與聚合計算的場景。其中,ByteHouse 的優化器在RBO與CBO方向上分別進行了大量的自研優化,並且實現了動態 Filter 下推、物化視圖改寫、計劃復用以及結果復用等高階能力。從而能夠根據表的結構、索引等信息生成最優的查詢執行計劃,提高查詢執行效率,減少資源消耗,整體上提升了ByteHouse在複雜場景下的查詢性能。 在ByteHouse的支持下,目前該公司在銷售數據的非ACL查詢和ACL查詢兩個方向上,都實現了查詢效率的顯著提升。以ACL查詢的60M廣告客戶DI場景為例,查詢效率已經從從優化前的16秒大幅縮短至如今的1秒,效率提升高達16倍。 抽取該公司銷售平臺某數據集測試結果 作為新一代雲原生數倉產品,ByteHouse在離線、線上複雜分析性能、便捷彈性擴縮容、全場景分析引擎等核心能力上持續優化,並已在互聯網、游戲、金融、氣象等領域廣泛應用。未來,ByteHouse持續以卓越的數據分析能力,為更多業務系統賦能,助力企業數智化轉型升級。 點擊跳轉 火山引擎雲原生數據倉庫ByteHouse 瞭解更多。