postgresql如何維護WAL日誌/歸檔日誌

WAL日誌介紹

　　wal全稱是write ahead log，是postgresql中的online redo log，是為了保證資料庫中數據的一致性和事務的完整性。而在PostgreSQL 7中引入的技術。它的中心思想是“先寫日誌後寫數據”，即要保證對資料庫文件的修改應放生在這些修改已經寫入到日誌之後，同時，在PostgreSQL 8.3以後又加入了WalWriter日誌寫進程，可以保證事務提交記錄不是在提交時同步寫入到磁碟，而是非同步寫入，這樣就極大的減輕了I/O的壓力。所以說WAL日誌很重要。對保證資料庫中數據的一致性和事務的完整性。

　　PostgreSQL的WAL日誌文件在pg_xlog目錄下，一般情況下，每個文件為16M大小：000000010000000000000010文件名稱為16進位的24個字元組成，每8個字元一組，每組的意義如下：

• 時間線：英文為timeline，是以1開始的遞增數字，如1,2,3...
• LogId：32bit長的一個數字，是以0開始遞增的數字，如0,1,2,3...
• LogSeg：32bit長的一個數字，是以0開始遞增的數字，如0,1,2,3...

wal日誌跟online redo log一樣，其個數，也不是無限的。歸檔日誌就出現了。

WAL日誌維護

1. 參數max_wal_size/min_wal_size
  9.5以前： (2 + checkpoint_completion_target) * checkpoint_segments + 1
  9.5：PostgreSQL 9.5 將廢棄checkpoint_segments 參數, 並引入max_wal_size 和 min_wal_size 參數, 
   通過max_wal_size和checkpoint_completion_target 參數來控制產生多少個XLOG後觸發檢查點, 
   通過min_wal_size和max_wal_size參數來控制哪些XLOG可以迴圈使用。
2. 參數wal_keep_segments
   在流複製的環境中。使用流複製建好備庫，如果備庫由於某些原因接收日誌較慢。導致備庫還未接收到。就被覆蓋了。導致主備無法同步。這個需要重建備庫。
   避免這種情況提供了該參數。每個日誌文件大小16M。如果參數設置64. 占用大概64×16=1GB的空間。根據實際環境設置。
3. pg_resetxlog
  在前面參數設置合理的話。是用不到pg_resetxlog命令。
  使用案例參考： https://my.oschina.net/Kenyon/blog/101432
[postgres@postgres128 ~]$ pg_resetxlog -?
pg_resetxlog resets the PostgreSQL transaction log.

Usage:
  pg_resetxlog [OPTION]... DATADIR

Options:
  -c XID,XID       set oldest and newest transactions bearing commit timestamp
                   (zero in either value means no change)
 [-D] DATADIR      data directory
  -e XIDEPOCH      set next transaction ID epoch
  -f               force update to be done
  -l XLOGFILE      force minimum WAL starting location for new transaction log
  -m MXID,MXID     set next and oldest multitransaction ID
  -n               no update, just show what would be done (for testing)
  -o OID           set next OID
  -O OFFSET        set next multitransaction offset
  -V, --version    output version information, then exit
  -x XID           set next transaction ID
  -?, --help       show this help, then exit

Report bugs to <pgsql-bugs@postgresql.org>.      

歸檔日誌維護

1. pg_archivecleanup清理歸檔日誌。
[postgres@postgres128 ~]$ pg_archivecleanup -?
pg_archivecleanup removes older WAL files from PostgreSQL archives.

Usage:
  pg_archivecleanup [OPTION]... ARCHIVELOCATION OLDESTKEPTWALFILE

Options:
  -d             generate debug output (verbose mode)
  -n             dry run, show the names of the files that would be removed
  -V, --version  output version information, then exit
  -x EXT         clean up files if they have this extension
  -?, --help     show this help, then exit

For use as archive_cleanup_command in recovery.conf when standby_mode = on:
  archive_cleanup_command = 'pg_archivecleanup [OPTION]... ARCHIVELOCATION %r'
e.g.
  archive_cleanup_command = 'pg_archivecleanup /mnt/server/archiverdir %r'

Or for use as a standalone archive cleaner:
e.g.
  pg_archivecleanup /mnt/server/archiverdir 000000010000000000000010.00000020.backup

1.1 當主庫不斷把WAL日誌拷貝到備庫。這個時候需要清理。在recovery.conf可以配置  
e.g.   archive_cleanup_command = 'pg_archivecleanup /mnt/server/archiverdir %r'
1.2 可以收到執行命令。
e.g.  pg_archivecleanup /home/postgres/arch/ 000000010000000000000009
在歸檔目錄/home/postgres/arch/ 把000000010000000000000009之前的日誌都清理。

2. pg_rman備份
參考博客 http://www.cnblogs.com/lottu/p/7490615.html
在pg_rman備份保留策略中。在每天都備份。可以清理歸檔日誌。
對流複製環境中。備份一般是在備庫。可以把歸檔日誌傳送到備庫中。
  --keep-arclog-files=NUM   keep NUM of archived WAL
  --keep-arclog-days=DAY    keep archived WAL modified in DAY days
e.g 保留歸檔日誌個數10。或者保留10天內的歸檔日誌。 
KEEP_ARCLOG_FILES = 10  
KEEP_ARCLOG_DAYS = 10   
在備份信息中會產生以下信息。
INFO: start deleting old archived WAL files from ARCLOG_PATH (keep files = 10, keep days = 10)