資料庫優化是一個綜合工程,不僅僅是需要DBA參與,更重要的是研發設計人員針對PG資料庫的特點來進行相關的優化設計。不過對於DBA來說,一旦接到上線和運維任務,基本上都是木已成舟,軟體設計方面留下的坑已經挖好,DBA的作為已經十分有限了。不過既然要乾運維,那麼少不了就要參與優化。PG的優化工作該如何開... ...
硬體資源問題:如果資料庫伺服器硬體資源不足,例如 CPU、記憶體、磁碟 IO 等,會導致系統性能下降,響應時間變慢。
操作系統配置不合理:如果操作系統沒有針對PG資料庫進行優化,那麼PG資料庫也無法發揮最佳的效能,因此針對PG資料庫的優化,從操作系統參數調整入手永遠是不會錯的。
文件系統配置不合理:對於一些負載較高的大型資料庫來說,如果無法發揮後端存儲的IO能力,或者說讓後端磁碟出現了性能問題,那麼就會嚴重影響PG資料庫的性能甚至穩定性。對於大型資料庫來說,文件系統設計與配置一定要十分用心。
SQL不夠優化:如果應用沒有經過優化,可能會導致查詢效率低下,索引設計不合理,缺少必要的索引,過多的單列索引以及索引類型使用不合理等都會帶來性能問題。最後不合理多表的 JOIN、WHERE 子句和大表並行掃碼都可能成為性能殺手。
資料庫結構設計不合理:如果資料庫結構設計不合理,可能會導致查詢效率低下,例如表過度歸一化、大表未分區或者分區設置不合理,表或者索引的的FILL FACTOR參數設置不合理導致的熱塊衝突。索引設計不合理產生的不必要的寫成本過高。應該存儲到對象存儲中的非結構化數據存儲到PG資料庫中等。表分區設計不合理,時序數據沒有使用timescaledb的自動分區與自動壓縮特性也會導致時序數據訪問的性能不佳。
資料庫參數設置不合理:如果 PostgreSQL 資料庫參數設置不合理,可能會導致資料庫性能低下,例如 shared_buffers、work_mem、WAL/Checkpoint 等參數的設置等。
併發控制不合理:如果資料庫併發控制不合理,可能會導致性能下降,這方麵包含事務隔離級別設置不合理,併發度相關參數設置不合理等。
緩存命中率低:如果緩存命中率低,會導致頻繁的磁碟 IO 操作,從而降低資料庫性能。
訪問冷數據的性能不足:PG資料庫是採用DOUBLE CACHE機制的,冷數據是指在SHARED BUFFERS和OS CACHE中都不存在的數據,這些數據一旦要訪問,要產生大量的物理IO,訪問性能較差。
自動化任務衝突:如果資料庫中存在大量的自動化任務,例如備份、VACUUM、定時任務等,可能會導致任務之間的衝突,從而影響系統性能。
[sysctl]
vm.swappiness = 1
vm.dirty_background_ratio = 10
vm.dirty_ratio = 40
vm.dirty_expire_centisecs = 3000
vm.dirty_writeback_centisecs = 500
kernel.shmmax = 18446744073692700000
kernel.shmall = 18446744073692700000
kernel.shmmni = 4096
kernel.sem = 250 512000 100 2048
fs.file-max = 312139770
fs.aio-max-nr = 1048576
net.ipv4.ip_local_port_range = 2048 65499
# Permits sockets in the time-wait state to be reused for new connections:
net.ipv4.tcp_tw_reuse = 1
net.core.netdev_budget = 1024
net.core.netdev_max_backlog = 2048
net.core.rmem_default = 262144
net.core.rmem_max = 4194304
net.core.wmem_default = 262144
net.core.wmem_max = 1048576
kernel.panic_on_oops = 1
# We don't need NUMA balancing in this box:
kernel.numa_balancing = 0
# Used if not defined by the service:
net.core.somaxconn = 4096
# Other parameters to override throughput-performance template
net.ipv4.tcp_rmem = 4096 87380 16777216
net.ipv4.tcp_wmem = 4096 65536 16777216
net.ipv4.tcp_window_scaling = 1
net.netfilter.nf_conntrack_max = 250000
net.ipv4.tcp_max_syn_backlog=4096
[vm]
transparent_hugepages=never
本文來自博客園,作者:古道輕風,轉載請註明原文鏈接:https://www.cnblogs.com/88223100/p/What-should-be-considered-for-Postgresql-database-optimization.html