postgresql 数据文件损坏回复实验

jqkyp

　　实验一：
创建两个表，有外键约束关系，通过修改二进制其中一段为全f破坏父表数据文件，重启数据库，父表中少了一条记录，子表中记录齐全，可以看出pg在查询、删除子表记录时不检查文件约束，只在更新、增加子表记录、删除父表记录时检查外键约束。
　　1 创建表
CREATE TABLE table1
(
id bigint NOT NULL,
stname character varying(200),
CONSTRAINT table1_pkey PRIMARY KEY (id)
);
　　CREATE TABLE table2
(
id bigint NOT NULL,
t1id bigint ,
stname character varying(200),
CONSTRAINT table2_pkey PRIMARY KEY (id)
);
　　2
加外键依赖
ALTER TABLE table2 ADD CONSTRAINT table2_distfk FOREIGN KEY (t1id) REFERENCES table1(id) MATCH FULL;
　　3
创建函数插入数值
CREATE SEQUENCE serial START 1;
CREATE OR REPLACE FUNCTION funtest(sd integer) RETURNS integer AS $$
BEGIN
FOR i IN 1..10000 LOOP
insert into table1(id,stname)values(i,'abc');
FOR j IN 1..10 LOOP
insert into table2(id,t1id,stname)values(nextval('serial'),i,'abc');
END LOOP;
END LOOP;
　　 RETURN 1;
END;
$$ LANGUAGE plpgsql;
　　4
调用函数插入值
select funtest(1)
　　5
查看结果
filedemage=# select count(*) from table1;
count
-------
10000
(1 row)
　　filedemage=# select count(*) from table2;
count
--------
100000
(1 row)
　　6
确定表的数据文件节点
filedemage=# select relname,relfilenode from pg_class where relname in ('table1','table2');
relname | relfilenode
---------+-------------
table1 | 24592
table2 | 24597
(2 rows)
　　7
修改表文件
找两行修改为全f或全0
重启数据库
　　filedemage=# \q
[BeiGang@localhost bin]# /etc/init.d/postgresql-9.2 restart
Restarting PostgreSQL 9.2:
waiting for server to shut down.... done
server stopped
waiting for server to start.... done
server started
PostgreSQL 9.2 restarted successfully
[BeiGang@localhost bin]#
　　8
登录数据库查询tabl1,table2的记录数，没有变化
[BeiGang@localhost bin]# ./psql -U postgres filedemage
Password for user postgres:
psql.bin (9.2.1)
Type "help" for help.
　　filedemage=#
filedemage=# select count(*) from table1;
count
-------
10000
(1 row)
　　filedemage=# select count(*) from table2;
count
--------
100000
(1 row)
　　9
查询到修改的记录
filedemage=# select distinct stname from table1;
stname
--------

abc
\x13
(3 rows)
　　filedemage=# select id,stname from table1 where stname in (select distinct stname from table1) and stname <> 'abc';
id | stname
---------------------+--------
1732058468245837568 |
5023 | \x13
(2 rows)
　　10
查询确认id=5022的记录被修改了
filedemage=# select * from table1 where id in(5020,5021,5022,5023,5024,5025);
id | stname
------+--------
5020 | abc
5021 | abc
5023 | \x13
5024 | abc
5025 | abc
(5 rows)
　　11
在表table2中查询t1id=5022的记录，结果正常，说明查询时不检查外键约束
filedemage=# select * from table2 where t1id in(5022,5023);
id | t1id | stname
-------+------+--------
50511 | 5022 | abc
50512 | 5022 | abc
50513 | 5022 | abc
50514 | 5022 | abc
50515 | 5022 | abc
50516 | 5022 | abc
50517 | 5022 | abc
50518 | 5022 | abc
50519 | 5022 | abc
50520 | 5022 | abc
50521 | 5023 | abc
50522 | 5023 | abc
50523 | 5023 | abc
50524 | 5023 | abc
50525 | 5023 | abc
50526 | 5023 | abc
50527 | 5023 | abc
50528 | 5023 | abc
50529 | 5023 | abc
50530 | 5023 | abc
　　12
给table2中插入5022外键约束，提示失败
filedemage=# insert into table2 (id,t1id,stname)values(12312312321,5022,'sdfs');ERROR: insert or update on table "table2" violates foreign key constraint "table2_distfk"
DETAIL: Key (t1id)=(5022) is not present in table "table1".
filedemage=# delete from table2 where id=50514;
DELETE 1
filedemage=#
　　实验二：
和上面的实验过程一样，只是通过修改二进制其中一段为全0破坏父表数据文件，然后重启数据库，父表中少了一条记录，子表中记录齐全，其他情况和父表相同。
　　1
清表table1,table2
filedemage=# delete from table2;
DELETE 100000
filedemage=# delete from table1;
DELETE 10000
　　2
确认清除table1,table2
filedemage=# select count(*) from table1;
count
-------
0
(1 row)
　　filedemage=# select count(*) from table2;
count
-------
0
(1 row)
　　3
插入记录
filedemage=# select funtest(1);
funtest
---------
1
(1 row)
　　4
确认已插入
filedemage=# select count(*) from table1;
count
-------
10000
(1 row)
　　filedemage=# select count(*) from table2;
count
--------
100000
(1 row)
　　5
退出数据库，修改其中部分为全0
重启数据库
filedemage=# \q
　　[BeiGang@localhost bin]#
[BeiGang@localhost bin]# /etc/init.d/postgresql-9.2 restart
Restarting PostgreSQL 9.2:
waiting for server to shut down.... done
server stopped
waiting for server to start.... done
server started
PostgreSQL 9.2 restarted successfully
[BeiGang@localhost bin]#
　　6
登录数据库查询tabl1,table2的记录数，table1少了一条记录
filedemage=# select count(*) from table1;
count
-------
9999
(1 row)
　　filedemage=# select count(*) from table2;
count
--------
100000
(1 row)
　　filedemage=# show zero_damaged_pages;
zero_damaged_pages
--------------------
off
(1 row)
　　7
查询相关记录
filedemage=# select * from table1 where id in(6758,6759,6760)
filedemage-# ;
id | stname
------+--------
6758 | abc
6760 | abc
(2 rows)
　　filedemage=# select * from table2 where t1id in(6758,6759,6760);
id | t1id | stname
--------+------+--------
267871 | 6758 | abc
267872 | 6758 | abc
267873 | 6758 | abc
267874 | 6758 | abc
267875 | 6758 | abc
267876 | 6758 | abc
267877 | 6758 | abc
267878 | 6758 | abc
267879 | 6758 | abc
267880 | 6758 | abc
267881 | 6759 | abc
267882 | 6759 | abc
267883 | 6759 | abc
267884 | 6759 | abc
267885 | 6759 | abc
267886 | 6759 | abc
267887 | 6759 | abc
267888 | 6759 | abc
267889 | 6759 | abc
267890 | 6759 | abc
267891 | 6760 | abc
267892 | 6760 | abc
267893 | 6760 | abc
267894 | 6760 | abc
267895 | 6760 | abc
267896 | 6760 | abc
267897 | 6760 | abc
267898 | 6760 | abc
267899 | 6760 | abc
267900 | 6760 | abc
(30 rows)
　　filedemage=#
　　实验三：
创建一个表，通过vi修改一段破坏该表数据文件，重启数据库，此时损坏的磁盘页面不可读，只能读取未损坏页上的数据
　　1
创建测试库
postgres=# create database filedemage;
CREATE DATABASE
postgres=# \c filedemage
You are now connected to database "filedemage" as user "postgres".
filedemage=#
　　2
查看测试库oid
filedemage=# select oid,* from pg_database;
24576 | filedemage |
　　3
在测试库中创建测试表
CREATE TABLE table1
(
id bigint NOT NULL,
stname character varying(200),
CONSTRAINT table1_pkey PRIMARY KEY (id)
);
　　4
查看测试表relfilenode
filedemage=# select relname,relfilenode from pg_class where relname='table1' ;
relname | relfilenode
---------+--------------
table1 | 24577
(1 row)
　　5
给测试表中插入数据
insert into table1 select generate_series(1,10000),'test abcadsfsadflasdffghlsdkflasdkflsdjflkafsadgfgdfsdjlf';
　　6
查看table1文件的大小
[BeiGang@localhost 24576]# du -sh 24577
992K 24577
　　7
查询表table1
filedemage=# select * from table1 ;
id | stname
-------+-----------------------------------------------------------
1 | test abcadsfsadflasdffghlsdkflasdkflsdjflkafsadgfgdfsdjlf
2 | test abcadsfsadflasdffghlsdkflasdkflsdjflkafsadgfgdfsdjlf
3 | test abcadsfsadflasdffghlsdkflasdkflsdjflkafsadgfgdfsdjlf
……
8
vi修改table1的文件，模拟文件损坏
[BeiGang@localhost 24576]# vi 24577
　　9
查询表table1
filedemage=# select * from table1 ;
id | stname
-------+-----------------------------------------------------------
1 | test abcadsfsadflasdffghlsdkflasdkflsdjflkafsadgfgdfsdjlf
2 | test abcadsfsadflasdffghlsdkflasdkflsdjflkafsadgfgdfsdjlf
3 | test abcadsfsadflasdffghlsdkflasdkflsdjflkafsadgfgdfsdjlf
……
　　10
退出数据库，重启pg，
filedemage=# \q
[BeiGang@localhost bin]# /etc/init.d/p
piranha-gui postfix psacct
portreserve postgresql-9.2 pulse
[BeiGang@localhost bin]# /etc/init.d/postgresql-9.2 restart
Restarting PostgreSQL 9.2:
waiting for server to shut down.... done
server stopped
waiting for server to start.... done
server started
PostgreSQL 9.2 restarted successfully
[BeiGang@localhost bin]#
　　11
重启pg，再查询table1
[BeiGang@localhost bin]# ./psql -U postgres filedemage
Password for user postgres:
psql.bin (9.2.1)
Type "help" for help.
　　filedemage=#
filedemage=# select * from table1 ;
ERROR: invalid page header in block 0 of relation base/24576/24577
　　12
编辑配置文件
[BeiGang@localhost bin]# vi ../data/postgresql.conf
　　zero_damaged_pages = on
　　13
重启
[BeiGang@localhost bin]# /etc/init.d/postgresql-9.2 restart
Restarting PostgreSQL 9.2:
waiting for server to shut down.... done
server stopped
waiting for server to start.... done
server started
PostgreSQL 9.2 restarted successfully
　　14
[BeiGang@localhost bin]# ./psql -U postgres filedemage
Password for user postgres:
psql.bin (9.2.1)
Type "help" for help.
　　filedemage=# select * from table1 ;
WARNING: invalid page header in block 1 of relation base/24576/24577; zeroing out page
WARNING: invalid page header in block 2 of relation base/24576/24577; zeroing out page
……
WARNING: invalid page header in block 121 of relation base/24576/24577; zeroing out page
count
-------
110
(1 row)
filedemage=#
　　参考：
http://www.redgres.com/web/node/17
《Postgresql数据损坏恢复》
由于磁盘坏道或者是内存问题等硬件上的原因，有时候会导致数据库的数据文件的一些数据块的损坏，使得某些表不能正常访问，本文谈一下PostgreSQL数据块损坏时候，表数据的恢复方法。
PostgreSQL采用一个表存放在一个或者多个物理文件，所以数据块的损坏一般只会影响到一个表，使得该表的数据不能查询或者是备份，下面是一个常见的异常的例子：
# select * from test ;
ERROR: invalid page header in block 1 of relation base/34780/34781
这个错误是说数据所在的目录下面base子目录，oid为34780的数据库，表的文件id为34781的表（即上述例子的test）的第一页(注意是从0页开始)数据块的头出现了错误，所以数据库不能访问。
数据块的损坏的情形比较复杂，所以如何恢复，或者是能恢复到什么情形不能一概而论。最好的情况是丢失一个数据块里面的所有记录(也有可能只丢失某些记录，但是方法比较复杂)，最坏也有可能整个表丢失。PostgreSQL没有提供像Oracle那样的文件恢复或者是块修复的功能，但也有一些方法可以修复表，这里简单讨论一下一个数据块损坏的情况下，如何恢复。
最简单的方法是，用备份恢复！如果你有做备份和日志归档，则出现问题以后，恢复到最新即可。如果没有备份，则请参考下面的方法。
重要：在做下面的操作前，先把数据库的数据文件的目录先备份！！！！！
方法1 利用参数zero_damaged_pages
PostgreSQL提供了一个隐藏参数zero_damaged_pages， 当这个参数为true的时候，会忽略所有数据有损坏的页面。设置的方法为：打开postgresql.conf文件，在文件的添加一个参数zero_damaged_pages = true, 重起PostgreSQL。
设置完后，当访问表的时候，会提示说已经忽略损坏的页面：
# select count(*) from test ;
WARNING: invalid page header in block 1 of relation base/34780/34781; zeroing out page
count
-------
760
(1 row)
该表原有1000条记录，由于一个页面损坏，丢失了240条记录。表可以访问以后，可以把表dump下来，或者是select到另外一张临时表，然后把原来的表删除掉重建。当然如果有其他外部约束的话，相关的表和索引也要处理，这里不详细讨论。
这种方法不会对物理文件作修改，只是把内存上，损坏页面的缓存变为0。
方法2 手动清除损坏的页面
在某些情形下，zero_damaged_pages可能不一定有些，这时可以尝试手动把坏的页面清除。
根据错误提示 ERROR: invalid page header in block 1 of relation base/34780/34781 我们可以找到相应的文件, 文件的路径为： 数据目录/base/34780/34781，只要用工具手动把上面提示的坏块清除即可。在Linux下面可以用dd工具把相应的页面清除：
$dd if=/dev/zero of=/home/postgres/data/base/34780/42995 bs=8192 seek=1 count=1 conv=notrunc
清除完后，查询表即可正常访问。
# select count(*) from test ;
count
-------
760
(1 row)
上面简单讨论了一下数据块损坏的表的恢复方法。由于这些方法都是有一定的局限性，而且丢失数据的数据量也不是完全确定，所以平时一定要做好备份工作。