DB/PostgreSQL/Backup の履歴(No.3)

• 履歴一覧
• 差分 を表示
• 現在との差分 を表示
• ソース を表示
• DB/PostgreSQL/Backup へ行く。
  • 1 (2022-01-27 (木) 09:51:32)
  • 2 (2022-01-27 (木) 13:30:51)
  • 3 (2022-02-01 (火) 10:41:36)

• backupを極める
• 実行はpostgresユーザー前提なので、そうじゃない場合は-U postgresつける

DBサイズ確認†

SELECT datname, pg_size_pretty(pg_database_size(datname)) FROM pg_database;

実行中の負荷†

• どの形式でもPostgresのCPU使用率は100%程度まで上がる。

テキスト形式†

pg_dump -d DB_NAME > dump.sql

Custom形式†

• 並列実行は不可能。アーカイブしてくれる
• テキスト形式の1/10以下のサイズ。テキスト＋gzipと同等。時間を考えるとこれ一択
• ただしバイナリ
• リストアはpg_restoreが必要

pg_dump -Fc DB_NAME > /var/tmp/custom.dmp

ディレクトリ形式†

• jオプションで並列実行可能

pg_dump -j 1 -Fd /data/pgtest/ DB_NAME 

時間計測†

4G程度で２分半あれば終わる。サイズは圧縮で200MBほど。 下の1億レコード追加18Gで９分。並列度をあげた場合は

大量データ作成†

CREATE TABLE tasks (
   id SERIAL NOT NULL,
   name VARCHAR(255) NOT NULL,
   created_at TIMESTAMP,
   updated_at TIMESTAMP,
   PRIMARY KEY (id)
);

• 10億レコードは数十ギガ消費し、１時間でも終わらなかったので一億レコードで挑戦。このデータで14G程度増量できた

INSERT 
INTO tasks ( 
 id
 ,name
 ,created_at
 ,updated_at
) 
SELECT
 i
 ,format('%s連番とても長いデータを造るためにがんばります', i)
 ,now()
 ,now()
FROM
 generate_series(1, 100000000) as i;