记一次莫名其妙的Oracle RAC启动失败

43tfwed

环境：Oracle 11g R2
节点：c1、c2
共享设备：SAN+ASM

现象：
c2启动完全正常，c1启动出现：
ORA-01078: failure in processing system parameters
ORA-01565: error in identifying file '+ASM/orcl/spfileorcl.ora'
ORA-17503: ksfdopn:2 Failed to open file +ASM/orcl/spfileorcl.ora
ORA-15056: additional error message
ORA-17503: ksfdopn:DGOpenFile05 Failed to open file +ASM/orcl/spfileorcl.ora
ORA-17503: ksfdopn:2 Failed to open file +ASM/orcl/spfileorcl.ora
ORA-15001: diskgroup "ASM" does not exist or is not mounted
ORA-06512: at line 4
看上子是权限相关的问题。

此时使用
create spfile='+ASM/orcl/sss.ora' from pfile='/u01/app/oracle/product/11.2.0/db_1/dbs/init.ora';
create spfile='+ASM/orcl/sss.ora' from pfile='/u01/app/oracle/product/11.2.0/db_1/dbs/init.ora'
*
ERROR at line 1:
ORA-17502: ksfdcre:4 Failed to create file +ASM/orcl/sss.ora
ORA-15077: could not locate ASM instance serving a required diskgroup
报错提示+ASM不能识别。

尝试1：
查看权限
ASM磁盘的权限在c1、c2上都是
brw-rw---- 1 grid asmadmin 8, 17 Mar 13 09:34 V1
brw-rw---- 1 grid asmadmin 8, 33 Mar 13 09:34 V2
brw-rw---- 1 grid asmadmin 8, 49 Mar 13 09:34 V3
brw-rw---- 1 grid asmadmin 8, 65 Mar 13 09:34 V4
由于oracle用户也在asmadmin组中，所以c2能读写c1也能读写，这个部分看不出问题。

尝试2：
使用grid用户在asmcmd中查看
在c2节点上可以看到
ASM路径和GRID路径，也就是两个ASM磁盘组，信息正确。
在c1节点上可以看到
GRID路径，但看不到ASM路径。信息不完整。

尝试3：
使用grid用户启动asmca
在c1和c2都能看到ASM和GRID两个磁盘组是MOUNTED状态，实例都是UP状态。仍旧看不出什么问题。

尝试4：
在c1上使用asmca进行UNMOUNT ASM磁盘组，再MOUNT ASM磁盘组。

再次重启c1实例：
成功了，+ASM磁盘可以识别了。