Postgresql中最有用的擴展(Extensions)pg_stat_statements(譯)

来源:https://www.cnblogs.com/wy123/archive/2020/07/22/13363655.html
-Advertisement-
Play Games

原文地址:https://www.citusdata.com/blog/2019/02/08/the-most-useful-postgres-extension-pg-stat-statements/Postgresql的Extensions能夠延伸,更改和推進Postgres的行為。怎麼樣?通過 ...


原文地址:https://www.citusdata.com/blog/2019/02/08/the-most-useful-postgres-extension-pg-stat-statements/

Postgresql的Extensions能夠延伸,更改和推進Postgres的行為。怎麼樣?通過hooking Postgres 到底層的 API hooks。
開源的Citus資料庫水平擴展了Postgres,它本身就是一個PostgreSQL擴展,它允許Citus保持最新的Postgres版本,而不會像其他Postgres分支那樣落後。
儘管我以前已經寫過各種類型的擴展,但是今天我想更深入地瞭解最有用的Postgres擴展:pg_stat_statements。

如你所見,我剛從FOSDEM回來。 FOSDEM是在布魯塞爾舉行的年度免費開源軟體會議,在活動中,我在PostgreSQL開發室中發表了有關Postgres擴展的演講
到今天結束時,Postgres開發室中進行的一半以上的討論都提到了pg_stat_statements:
Most frequently dispensed #PostgreSQL tip-of-the-day here in the Postgres devroom at #FOSDEM? Use pg_stat_statements! @Xof’s talk on Breaking PostgreSQL at Scale is the 4th talk today to drive this point home HT @craig @net_snow @magnushagander pic.twitter.com/Tcwkhy8W8h
— Claire Giordano (@clairegiordano) February 3, 2019

如果您使用Postgres,但尚未使用pg_stat_statements,則必須將其添加到工具箱中。即使您很熟悉,也可能值得回顧一下。

pg_stat_statements入門

pg_stat_statements是所謂的contrib擴展名,可以在PostgreSQL發行版的contrib目錄中找到。
這意味著它已經隨Postgres一起提供了,您不必從源代碼構建它或安裝軟體包。如果尚未啟用資料庫,則可能必須啟用它。這很簡單:

CREATE EXTENSION pg_stat_statements;

如果您在主要的雲提供商上運行,則很有可能他們已經為您安裝並啟用了它。
一旦安裝了pg_stat_statements,它就會開始悄悄地在後臺運行。 Pg_stat_statements記錄針對您的資料庫運行的查詢,從中刪除許多變數,然後保存有關該查詢的數據,例如花費了多長時間以及基礎讀/寫發生了什麼。
註意:它不會保存每個查詢,而是對其進行參數化,然後保存彙總結果

讓我們來看幾個示例。假設我們執行以下查詢:

SELECT order_details.qty,
       order_details.item_id,
       order_details.item_price
FROM order_details,
     customers
WHERE customers.id = order_details.customer_id
  AND customers.email = '[email protected]'

它將查詢轉換為:

SELECT order_details.qty,
       order_details.item_id,
       order_details.item_price
FROM order_details,
     customers
WHERE customers.id = order_details.customer_id
  AND customers.email = '?'

如果這是我在應用程式中經常執行的查詢,以獲取諸如零售訂單歷史記錄之類的訂單詳細信息,那麼它不會簡化我為每個用戶運行該訂單的頻率數據,而是通過彙總視圖來簡化存儲。

觀察pg_stat_statements數據

SELECT * 
FROM pg_stat_statements;

userid              | 16384
dbid                | 16388
query               | select * from users where email = ?;
calls               | 2
total_time          | 0.000268
rows                | 2
shared_blks_hit     | 16
shared_blks_read    | 0
shared_blks_dirtied | 0
shared_blks_written | 0
local_blks_hit      | 0
local_blks_read     | 0
local_blks_dirtied  | 0
local_blks_written  | 0

彙總pg_stat_statements歷史記錄

現在,這裡有大量有價值的信息,作為高級用戶,有時它們都可以證明是有價值的。
但是,即使沒有開始瞭解資料庫的內部結構,您仍然可以通過以某些方式查詢pg_stat_statements來獲得一些真正強大的見解。
通過查看total_time和每個查詢被調用一次的次數,我們可以非常快速地瞭解哪些查詢經常運行以及它們平均消耗了多少:

SELECT 
  (total_time / 1000 / 60) as total, 
  (total_time/calls) as avg, 
  query 
FROM pg_stat_statements 
ORDER BY 1 DESC 
LIMIT 100;

您可以採用多種不同的方式來對此進行過濾和排序,您可能只希望關註運行1000次以上的查詢。或平均超過100毫秒的查詢。
上面的查詢向我們顯示了資料庫消耗的總時間(以分鐘為單位)以及平均時間(以毫秒為單位)。
通過上面的查詢,我會得到如下所示的內容:

   total  |   avg  |        query
  --------+--------+-------------------------
   295.76 |  10.13 | SELECT id FROM users...
   219.13 |  80.24 | SELECT * FROM ...
  (2 rows)

根據經驗,我知道在快速獲取記錄時,PostgreSQL應該能夠在1ms內返回。
鑒於此,我可以開始優化工作。在上面的內容中,我看到將第一個查詢降低到1ms會有所改善,但是優化第二個查詢將使我的系統整體性能得到更大的提升。

特別說明:如果要構建多租戶應用,則可能不希望pg_stat_statements參數化tenant_id。為瞭解決這個問題,我們構建了citus_stat_statements來為每個租戶提供見解。

如果您從未(甚至在過去的一個月中)都沒有查看過pg_stat_statements中的數據,那麼今天對您來說是個好日子。
它可以告訴您哪些地方可以優化?我們希望聽到您發現@citusdata的內容。

享受您正在閱讀的內容嗎?
如果您有興趣閱讀我們團隊的更多帖子,請註冊我們的每月時事通訊,並將最新內容直接發送到您的收件箱。

 

譯者註:

1,原來類似功能就叫做“Extensions”,打開後就是記錄歷史SQL執行代價的彙總信息。
2,Postgresql中的pg_stat_statements有點類似於MySQL中的general query log,或者sqlserver中的執行計劃緩存sys.dm_exec_query_stats,他是基於移除參數的sql做模板,直接彙總了一個SQL的調用以及消耗情況
3,不清楚pg_stat_statements可以設置篩選條件,類似於sqlserver中的擴展事件,比如可以基於庫,用戶,或者語句,或者超出一定時間的語句做篩選,目前這種記錄方式說實話參考意義有限。
4,開啟了pg_stat_statements之後,對性能有多大的影響?
5,如何清理或者自定義的方式重置pg_stat_statements中的歷史記錄?select pg_stat_statements_reset();    




您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 安裝自動補齊需要依賴工具 yum install -y bash-completion docker命令補齊: 執行下列命令 sh /usr/share/bash-completion/bash_completion sh /usr/share/bash-completion/completions ...
  • 我對ubuntu的紫色不太喜歡,我比較喜歡黑色;雖然20.04版本換成了黑色,登錄界面也很好看;但是我用的是舊版本ubuntu,所以只能動手改了; grub界面顏色設置: vim /usr/share/plymouth/themes/ubuntu-logo/ubuntu-logo.grub; 結束後 ...
  • 近期,重新玩了玩kali下的airmon-ng等一套工具“破解”自家wifi密碼。 首先,有關處理2.4Ghz的wifi,在網上講解詳細且含圖文搭配的教程有許多,所以在這裡就不多贅述了。 這裡,主要說明一下處理5Ghz的wifi,在鎖定目標wifi後使用aireplay-ng指令抓取握手包時在確定無 ...
  • 普通的存儲器器件為單埠,也就是數據的輸入輸出只利用一個埠,設計了兩個輸入輸出埠的就是雙埠sram。雖然還具有擴展系列的4埠sram,但雙埠sram已經非常不錯了。雙埠sram經常應用於cpu與其周邊控制器等類似需要直接訪問存儲器或者需要隨機訪問緩衝器之類的器件之間進行通信的情況。從存儲 ...
  • 在Zabbix Server伺服器上安裝oracle-instantclient11.2後,結果使用sqlplus命令時遇到“sqlplus: error while loading shared libraries: libnsl.so.1: cannot open shared object f... ...
  • 本文更新於2020-05-03,使用MySQL 5.7,操作系統為Deepin 15.4。 許可權 許可權存取需要用到mysql庫中user、db、host、tables_priv、columns_prvi這幾個許可權表。列分為4個部分:用戶列、許可權列、安全列、資源控制列。許可權列又分為普通許可權和管理許可權。 ...
  • 開始之前明確一下死鎖和鎖等待這兩個事件的異同相同的之處:兩者都是當前事物在試圖請求被其他事物已經占用的鎖,從而造成當前事物無法執行的現象不同的之處:死鎖是相關session雙方或者多方中必然要犧牲(回滾)至少一個事務,否則雙方(或者多方)都無法執行;鎖等待則不然,對於暫時無法申請到的鎖,嘗試持續地“ ...
  • MHA(Master HA)是一款開源的 MySQL 的高可用程式,它為 MySQL 主從複製架構提供了 automating master failover 功能。MHA 在監控到 master 節點故障時,會提升其中擁有最新數據的 slave 節點成為新的master 節點,在此期間,MHA 會 ...
一周排行
    -Advertisement-
    Play Games
  • Timer是什麼 Timer 是一種用於創建定期粒度行為的機制。 與標準的 .NET System.Threading.Timer 類相似,Orleans 的 Timer 允許在一段時間後執行特定的操作,或者在特定的時間間隔內重覆執行操作。 它在分散式系統中具有重要作用,特別是在處理需要周期性執行的 ...
  • 前言 相信很多做WPF開發的小伙伴都遇到過表格類的需求,雖然現有的Grid控制項也能實現,但是使用起來的體驗感並不好,比如要實現一個Excel中的表格效果,估計你能想到的第一個方法就是套Border控制項,用這種方法你需要控制每個Border的邊框,並且在一堆Bordr中找到Grid.Row,Grid. ...
  • .NET C#程式啟動閃退,目錄導致的問題 這是第2次踩這個坑了,很小的編程細節,容易忽略,所以寫個博客,分享給大家。 1.第一次坑:是windows 系統把程式運行成服務,找不到配置文件,原因是以服務運行它的工作目錄是在C:\Windows\System32 2.本次坑:WPF桌面程式通過註冊表設 ...
  • 在分散式系統中,數據的持久化是至關重要的一環。 Orleans 7 引入了強大的持久化功能,使得在分散式環境下管理數據變得更加輕鬆和可靠。 本文將介紹什麼是 Orleans 7 的持久化,如何設置它以及相應的代碼示例。 什麼是 Orleans 7 的持久化? Orleans 7 的持久化是指將 Or ...
  • 前言 .NET Feature Management 是一個用於管理應用程式功能的庫,它可以幫助開發人員在應用程式中輕鬆地添加、移除和管理功能。使用 Feature Management,開發人員可以根據不同用戶、環境或其他條件來動態地控制應用程式中的功能。這使得開發人員可以更靈活地管理應用程式的功 ...
  • 在 WPF 應用程式中,拖放操作是實現用戶交互的重要組成部分。通過拖放操作,用戶可以輕鬆地將數據從一個位置移動到另一個位置,或者將控制項從一個容器移動到另一個容器。然而,WPF 中預設的拖放操作可能並不是那麼好用。為瞭解決這個問題,我們可以自定義一個 Panel 來實現更簡單的拖拽操作。 自定義 Pa ...
  • 在實際使用中,由於涉及到不同編程語言之間互相調用,導致C++ 中的OpenCV與C#中的OpenCvSharp 圖像數據在不同編程語言之間難以有效傳遞。在本文中我們將結合OpenCvSharp源碼實現原理,探究兩種數據之間的通信方式。 ...
  • 一、前言 這是一篇搭建許可權管理系統的系列文章。 隨著網路的發展,信息安全對應任何企業來說都越發的重要,而本系列文章將和大家一起一步一步搭建一個全新的許可權管理系統。 說明:由於搭建一個全新的項目過於繁瑣,所有作者將挑選核心代碼和核心思路進行分享。 二、技術選擇 三、開始設計 1、自主搭建vue前端和. ...
  • Csharper中的表達式樹 這節課來瞭解一下表示式樹是什麼? 在C#中,表達式樹是一種數據結構,它可以表示一些代碼塊,如Lambda表達式或查詢表達式。表達式樹使你能夠查看和操作數據,就像你可以查看和操作代碼一樣。它們通常用於創建動態查詢和解析表達式。 一、認識表達式樹 為什麼要這樣說?它和委托有 ...
  • 在使用Django等框架來操作MySQL時,實際上底層還是通過Python來操作的,首先需要安裝一個驅動程式,在Python3中,驅動程式有多種選擇,比如有pymysql以及mysqlclient等。使用pip命令安裝mysqlclient失敗應如何解決? 安裝的python版本說明 機器同時安裝了 ...