WAL是Write Ahead Log的簡(jiǎn)寫(xiě),和oracle的redo日志類似,存放在$PGDATA/pg_xlog中,10版本以后在$PGDATA/pg_wal目錄.
如果開(kāi)啟了歸檔,在目錄archive_status下會(huì)有一些文件,以ready結(jié)尾的,表示可以歸檔但還沒(méi)有歸檔,done結(jié)尾的表示已經(jīng)歸檔。
和WAL日志數(shù)量相關(guān)的幾個(gè)參數(shù):
wal_keep_segments = 300 # in logfile segments, 16MB each; 0 disables
checkpoint_completion_target = 0.5 # checkpoint target duration, 0.0 - 1.0
checkpoint_segments = 2048 # in logfile segments, min 1, 16MB each
#9.5以后checkpoint_segments不再使用,要參考設(shè)置以下兩個(gè)參數(shù)
#max_wal_size = 1GB #最大不超過(guò)這個(gè)值
#min_wal_size = 80MB #最小保留這個(gè)值
如果沒(méi)有開(kāi)啟歸檔的情況下:
不超過(guò)以下兩個(gè)公式計(jì)算得出的個(gè)數(shù)
(2 + checkpoint_completion_target) * checkpoint_segments + 1 或者checkpoint_segments + wal_keep_segments + 1
9.5以后,如果超過(guò)了max_wal_size,那么就會(huì)刪除不需要的wal.
如果開(kāi)啟了歸檔,那么歸檔成功了,才會(huì)被清除,所以這里注意一下,如果你開(kāi)啟了歸檔,但是歸檔命令是失效的,那么wal目錄會(huì)一直增長(zhǎng),不會(huì)自動(dòng)刪除WAL,會(huì)使得此目錄被撐爆。
什么情況下回自動(dòng)清理wal
1.做檢查點(diǎn)的時(shí)候
2.數(shù)據(jù)庫(kù)啟動(dòng)的時(shí)候,或者修改了相關(guān)參數(shù)后重啟數(shù)據(jù)庫(kù)。
觸發(fā)檢查點(diǎn)的情況:
1.從前一個(gè)檢查點(diǎn)發(fā)生過(guò)后的時(shí)間超過(guò)checkpoint_timeout設(shè)置的間隔(默認(rèn)間隔為300秒(5分鐘))。
2.在版本9.4或更早版本中,自上一個(gè)檢查點(diǎn)以來(lái),超過(guò)使用checkpoint_segments(默認(rèn)數(shù)量為3)設(shè)置的WAL段文件數(shù)量。
3.在9.5或更高版本中,pg_xlog(版本10或更高版本,pg_wal)中WAL段文件的總大小已超過(guò)參數(shù)max_wal_size的值(默認(rèn)值為1GB(64個(gè)文件))。
4.PostgreSQL服務(wù)在smart和fast模式下停止。
5.手動(dòng)執(zhí)行checkpoint.
如何手動(dòng)清理wal
可以通過(guò)縮小以上涉及到的函數(shù)減少wal segment的數(shù)量,也可以手動(dòng)刪除,如下:
pg_controldata
Latest checkpoint location: 16/79FF5520
Latest checkpoint's REDO location: 16/79FF54E8
Latest checkpoint's REDO WAL file: 00000001000000160000001E
這里表示16/79FF54E8檢查點(diǎn)已經(jīng)執(zhí)行,已經(jīng)包含在00000001000000160000001E日志文件中,那么這個(gè)日志之前的日志是可以清理的。
可以手動(dòng)使用系統(tǒng)命令rm清理
也可以使用pg_archivecleanup清理
比如:
查看日志
ll
total 833M
-rw------- 1 postgres postgres 64M Aug 29 11:10 00000001000000160000001E
-rw------- 1 postgres postgres 64M Jul 16 11:24 00000001000000160000001F
-rw------- 1 postgres postgres 64M Jul 16 11:24 000000010000001600000020
-rw------- 1 postgres postgres 64M Jul 16 11:25 000000010000001600000021
-rw------- 1 postgres postgres 64M Jul 16 11:25 000000010000001600000022
-rw------- 1 postgres postgres 64M Jul 16 11:26 000000010000001600000023
-rw------- 1 postgres postgres 64M Jul 16 11:24 000000010000001600000024
-rw------- 1 postgres postgres 64M Jul 16 11:24 000000010000001600000025
-rw------- 1 postgres postgres 64M Jul 16 11:26 000000010000001600000026
-rw------- 1 postgres postgres 64M Jul 16 11:40 000000010000001600000027
-rw------- 1 postgres postgres 64M Jul 16 11:40 000000010000001600000028
-rw------- 1 postgres postgres 64M Jul 16 11:51 000000010000001600000029
-rw------- 1 postgres postgres 64M Jul 16 11:40 00000001000000160000002A
drwx------ 2 postgres postgres 4.0K Jun 18 10:15 archive_status
保留000000010000001600000027之后的日志
pg_archivecleanup /opt/pgdata11.3/pg_root/pg_wal/ 000000010000001600000027
再次查看驗(yàn)證
ls
000000010000001600000027 000000010000001600000028 000000010000001600000029 00000001000000160000002A archive_status
補(bǔ)充:Postgresql 數(shù)據(jù)庫(kù)設(shè)置備份以及簡(jiǎn)單清理磁盤空間和wal日志的方法
1. 最近想簡(jiǎn)單的進(jìn)行數(shù)據(jù)庫(kù)的備份工作, 因?yàn)楝F(xiàn)在數(shù)據(jù)庫(kù)主要是用的pg數(shù)據(jù)庫(kù) , 所以想到用文本的方式進(jìn)行, 有清理了一下日志表的數(shù)據(jù) 這里一起記錄一下.
先記錄一下查看比較大的表的信息.
從網(wǎng)上找了下資料, 使用子查詢的方式來(lái)查詢表信息.
SELECT
table_name,
pg_size_pretty(table_size) AS table_size,
pg_size_pretty(indexes_size) AS indexes_size,
pg_size_pretty(total_size) AS total_size
FROM (
SELECT
table_name,
pg_table_size(table_name) AS table_size,
pg_indexes_size(table_name) AS indexes_size,
pg_total_relation_size(table_name) AS total_size
FROM (
SELECT ('"' || table_schema || '"."' || table_name || '"') AS table_name
FROM information_schema.tables
) AS all_tables
ORDER BY total_size DESC
) AS pretty_sizes;
找出來(lái)最大的表信息之后, 需要使用
truncate table 的方式能夠直接清理空間不然空間還是占用著的.
或者是在數(shù)據(jù)庫(kù)的 /data/base 目錄下面也能夠看到響應(yīng)的表信息
2. 整理pg_wal 文件內(nèi)的信息
wal 是 write ahead log 的意思 里面跟oracle的redo內(nèi)容類似, 有時(shí)候文件會(huì)比較多需要清理一下.
方法
su - postgres
cd /usr/lib/yourpgbinpath
./pg_resetwal {PGDATA}
執(zhí)行清理
3. 執(zhí)行備份恢復(fù)的方式
備份
tar -czvf /pgdata.tar.gz /pgdatapath
恢復(fù)
tar -zxvf /pgdata.tar.gz /
恢復(fù)即可,
以上為個(gè)人經(jīng)驗(yàn),希望能給大家一個(gè)參考,也希望大家多多支持腳本之家。如有錯(cuò)誤或未考慮完全的地方,望不吝賜教。
您可能感興趣的文章:- PostgreSQL 打印日志信息所在的源文件和行數(shù)的實(shí)例
- postgresql 切換 log、xlog日志的實(shí)現(xiàn)
- 解決PostgreSQL日志信息占用磁盤過(guò)大的問(wèn)題
- PostgreSQL歸檔配置及自動(dòng)清理歸檔日志的操作
- 關(guān)于PostgreSQL錯(cuò)誤日志與慢查詢?nèi)罩臼占?/li>
- Postgresql的日志配置教程詳解
- PostgreSQL 日志文件的所在位置