双十一前4小时，CentOS 6.5服务器启动错误排查

mjtvpkzuxf

11月10日晚上8点多，眼看要到双十一了。。。
但我要说的这段经历却和双十一毫无关系，哈哈。这天准备向CentOS6.5服务器的svn上传一些文件,结果开机启动时,却出现了下面的界面:

这是肿么回事？根据屏幕的提示，先使用root账号登录到系统，然后使用fsck命令手工检测

#cd /tmp/.ICE-unix #目录下只有一个X0文件
#fsck X0 或者fsck.ext3 -y X0

显示都是
fsck.ext2(3): No such device or address while trying to open X0
Possibly non-existent or swap device?

接下来尝试直接删除提示中给出的.ICE-unix等目录

提示是Read-only file system
看来是不行，于是google之，看到好几种可能的办法：
1.找到chattr,lsattr命令,执行仍然不行
2.执行
#chmod o-t .ICE-unix
不行，提示是Read-only file system
到这里觉得有点诧异，以root身份都不能执行上面几个命令，很让人抓狂啊
于是我随便进入一个目录

#cd /home
#mkdir test

结果出现提示，不能创建test目录！
然后又试了一下创建文件，修改文件等操作，发现不能创建目录，文件，甚至不能修改文件.不知道是什么原因,难道是交换分区出问题了?
执行df -h，感觉确实是不太对劲

用了上面3种方法全都不行,感觉要彻底崩溃了,难道要重装系统才行吗?上面有非常多的资料备份,以及辛辛苦苦搭建起来的tomcat,mongo,redis,mq等超多东东啊.
这时重新翻看之前的搜索结果,看到http://www.ha97.com/5428.html这篇文章,里面提到linux系统非正常死机,目录和文件成为只读之后的解决办法,用root账号执行
#fsck.ext3 -y /dev/vda3

突然脑子一闪,刚才虽然执行了fsck这个命令,但是仅针对/tmp下一个具体文件,并没有对整个设备手动恢复.于是执行
#fsck.ext3 -y /dev/sda5
接着就看到屏幕出了一堆提示,显示在修复系统,幸好我的机器只是几百G的硬盘,不到3分钟就修复完毕.
接下来reboot,一切都恢复正常!
差点就重新低格一遍这块硬盘,修复系统之后的喜悦心情简直是无以复加,然后想起来，出现这种目录文件不能读写的情况,应该是自己的误操作.在第一遍启动centos系统时,好半天也没有完全启动起来,于是就手动按了PC上的reset按钮进行重启,结果就出现了开头的问题,瞬间感觉linux系统好脆弱啊.
抬头一看时间，是晚上22点多，2个多小时解决问题！然后直接进入双十一模式！