公司虚拟化平台VMware vCenter Server无法连接故障排查解决

tgdf

1.环境：
系统：Windows 2008R2
vCenter版本：VMware vCenter Server 5.1.799731
数据库：Oracle 11.2.0
2.故障描述：
用VMware vSphere Client客户端无法登录，提示“出现未知连接错误。（由于连接故障，请求失败。无法连接到远程服务器）”

排错过程：
1.mstsc远程桌面到服务器。
打开服务器管理器--服务，找到vCenter的服务VMware VirtualCenter Server，发现服务没有启动。

2.确认oracle数据库的服务OracleServiceBNVCDB状态，为已启动状态。

3.手动尝试启动vCenter服务，启动失败，报错

4.此时，怀疑是不是Windows系统本身问题，于是，尝试重启系统。看来这招大招也不行，vCenter服务依然无法启动。根据报错提示，查看系统事件日志，诊断--Windows日志--系统。果然发现有错误信息：“VMware VirtualCenter Server 服务因 系统找不到指定的文件。 服务特定错误而停止。（the VMware VirtualCenter Server service terminated with service-specific error The system cannot find the file specified..）”

根据错误提示，到vmware 官网查KB库http://kb.vmware.com/selfservice/microsites/search.do?language=en_US&cmd=displayKC&externalId=1003926，根据KB的解决方案去排查，问题依旧，看来这个KB不适用当前的问题。
5.继续查看Windows的系统日志，诊断--Windows日志--应用程序。看到一条错误信息：“无法找到来自源 VMware VirtualCenter Server 的事件 ID 1000 的描述。本地计算机上未安装引发此事件的组件，或者安装已损坏。可以安装或修复本地计算机上的组件。如果该事件产生于另一台计算机，则必须在该事件中保存显示信息。 以下是包含在事件中的信息:  Failed to intialize VMware VirtualCenter. Shutting down...
消息资源存在，但在字符串/消息表中找不到该消息”

根据错误的信息继续上官网查KB库，根据查到的几个KB库，问题依然无法解决。
6.没办法，只能看vCenter的日志了。Note: In Windows 2008, the vpxd.log file is located at C:ProgramDataVMwareVMware VirtualCenterLogs.
看到日志最后有个错误输出：
2014-10-28T15:09:31.000+08:00 [04992 error 'vpxdvpxdMain'] [Vpxd::ServerApp::Init] Init failed: Unexpected exception
--> Backtrace:
--> backtrace[00] rip 000000018018977a
--> backtrace[01] rip 0000000180100c98
--> backtrace[02] rip 0000000180101fae
--> backtrace[03] rip 000000018008aeab
--> backtrace[04] rip 0000000000514971
--> backtrace[05] rip 00000000004b1298
--> backtrace[06] rip 00000000004b16c9
--> backtrace[07] rip 0000000000420fae
--> backtrace[08] rip 0000000140ddbfb8
--> backtrace[09] rip 000000013fcd0078
--> backtrace[10] rip 000000013fcd016a
--> backtrace[11] rip 000000013fcd0279
--> backtrace[12] rip 000000013fcd0609
--> backtrace[13] rip 0000000140012903
--> backtrace[14] rip 00000001407be4b9
--> backtrace[15] rip 00000001407b835c
--> backtrace[16] rip 00000001409d8a3b
--> backtrace[17] rip 000007feff26a82d
--> backtrace[18] rip 0000000077a4f56d
--> backtrace[19] rip 0000000077b83281
-->
2014-10-28T15:09:31.000+08:00 [04992 warning 'VpxProfiler'] ServerApp::Init [TotalTime] took 11122 ms
2014-10-28T15:09:31.000+08:00 [04992 error 'Default'] Failed to intialize VMware VirtualCenter. Shutting down...
2014-10-28T15:09:31.000+08:00 [04992 info 'vpxdvpxdSupportManager'] Wrote uptime information
2014-10-28T15:09:31.889+08:00 [03356 warning 'VpxProfiler' opID=SWI-ee9b4a9d] VpxUtil_InvokeWithOpId [TotalTime] took 12012 ms
2014-10-28T15:09:43.901+08:00 [03356 warning 'VpxProfiler' opID=SWI-b94098aa] VpxUtil_InvokeWithOpId [TotalTime] took 12012 ms
2014-10-28T15:09:55.913+08:00 [03356 warning 'VpxProfiler' opID=SWI-898eea54] VpxUtil_InvokeWithOpId [TotalTime] took 12012 ms
2014-10-28T15:10:07.925+08:00 [03356 warning 'VpxProfiler' opID=SWI-aaa55fdf] VpxUtil_InvokeWithOpId [TotalTime] took 12012 ms
2014-10-28T15:10:19.937+08:00 [03356 warning 'VpxProfiler' opID=SWI-46814322] VpxUtil_InvokeWithOpId [TotalTime] took 12012 ms
2014-10-28T15:10:20.936+08:00 [04992 info 'Default'] Forcing shutdown of VMware VirtualCenter now
其中有几个关键字：“Init failed: Unexpected exception”，从字面看不出具体是什么原因，只能还是借助万能的google。根据关键字搜索了一下，果然有相关的文章，但很不幸，这些文章都无法解决这个问题。
7.时间一分一秒的过去，依然没什么头绪，只能不断的看网上的文章，看了好几篇的文章，虽然情况描述的不一样，但是很多都反馈vCenter服务无法启动的问题，大多数都是数据库方面问题。于是，心思重点放在oralce数据库。
8.手动重启oracle数据库服务，确认oracle数据库服务正常，然后再启动vcenter服务，还是失败。
9.继续搜索，找到一篇文章：https://communities.vmware.com/message/2151843，描述的问题很相近，于是对着文章去排查
1）在浏览器输入https://192.168.1.244:7444/ims/CommandServer，提示404错误。为了确认是不是都是提示404的，找了公司另一个正常的vCenter服务器验证，正常的提示应该是“该网站的安全证书不受信任”。
2）根据之前的经验，网站提示404，一般是找不到页面或者数据库连接错误导致。难道真的是数据库问题？继续查.......
3）netstat -na|findstr 7444，确认了端口正常。
4）根据文章的提示，SSO SERVER数据库有问题。查看日志：D:Program FilesVMwareInfrastructureSSOServerlogs，目录下的lookupServer日志有报错：
Caused by: java.sql.SQLException: ORA-28001: the password has expired
at oracle.jdbc.driver.T4CTTIoer.processError(T4CTTIoer.java:439)
at oracle.jdbc.driver.T4CTTIoer.processError(T4CTTIoer.java:388)
at oracle.jdbc.driver.T4CTTIoer.processError(T4CTTIoer.java:381)
at oracle.jdbc.driver.T4CTTIfun.processError(T4CTTIfun.java:564)
at oracle.jdbc.driver.T4CTTIoauthenticate.processError(T4CTTIoauthenticate.java:431)
at oracle.jdbc.driver.T4CTTIfun.receive(T4CTTIfun.java:436)
at oracle.jdbc.driver.T4CTTIfun.doRPC(T4CTTIfun.java:186)
at oracle.jdbc.driver.T4CTTIoauthenticate.doOAUTH(T4CTTIoauthenticate.java:366)
at oracle.jdbc.driver.T4CTTIoauthenticate.doOAUTH(T4CTTIoauthenticate.java:752)
at oracle.jdbc.driver.T4CConnection.logon(T4CConnection.java:359)
at oracle.jdbc.driver.PhysicalConnection.(PhysicalConnection.java:531)
at oracle.jdbc.driver.T4CConnection.(T4CConnection.java:221)
at oracle.jdbc.driver.T4CDriverExtension.getConnection(T4CDriverExtension.java:32)
at oracle.jdbc.driver.OracleDriver.connect(OracleDriver.java:503)
at java.sql.DriverManager.getConnection(DriverManager.java:582)
at java.sql.DriverManager.getConnection(DriverManager.java:154)
at org.apache.commons.dbcp.DriverManagerConnectionFactory.createConnection(DriverManagerConnectionFactory.java:78)
at com.vmware.vim.lookup.impl.DbStorage$ConnectionFactoryWithSetup.createConnection(DbStorage.java:811)
at org.apache.commons.dbcp.PoolableConnectionFactory.makeObject(PoolableConnectionFactory.java:582)
at org.apache.commons.pool.impl.GenericObjectPool.borrowObject(GenericObjectPool.java:1148)
at org.apache.commons.dbcp.PoolingDataSource.getConnection(PoolingDataSource.java:106)
at com.vmware.vim.lookup.impl.DbStorage$SqlExecutor.execute(DbStorage.java:698)
... 40 more
报错提示很明显“ORA-28001: the password has expired”，连接数据库的用户的密码过期了。是不是这个问题引起的呢？如果把密码过期问题解决了，是不是整个问题就解决了呢？不放过任何一个机会。
10.根据上面的错误提示google，找到一篇很不错的文章，顺便科普了我的oracle数据库知识。http://hi.baidu.com/5unge/item/cade17d405b4861b21e25035
Oracle提示错误消息ORA-28001: the password has expired，是由于Oracle11G的新特性所致， Oracle11G创建用户时缺省密码过期限制是180天（即6个月）， 如果超过180天用户密码未做修改则该用户无法登录。 Oracle公司是为了数据库的安全性默认在11G中引入了这个默认功能，但是这个默认的功能很容易被DBA或者是开发人员给疏忽，一旦密码180天未修改过，就会出现这样的问题。
看到这里，当前环境的数据库不就是oracle 11g的么？看到一丝丝曙光了。根据文章的步骤：
1）SELECT * FROM dba_profiles WHERE profile='DEFAULT' AND resource_name='PASSWORD_LIFE_TIME'
查询密码的有效期设置，LIMIT字段是密码有效天数。查到的结果是180天。

2）select username,account_status from dba_users;查看用户的状态信息，查到很多用户几乎都是EXPIERD状态。问题又来了（不是挖掘机），哪个用户才是vCenter所使用的呢？
3）找到配置文件：D:Program FilesVMwareInfrastructureSSOServerwebappslookupserviceWEB-INFclassesconfig，很明显了，用户名就是RSA_USER

4）首先去除180天的密码生存周期的限制
ALTER PROFILE DEFAULT LIMIT PASSWORD_LIFE_TIME UNLIMITED;
再查看确认，已经是unlimited状态了。

5）这样修改后，用户密码还是过期的，也就是说，还要修改用户的密码才行，为避免修改其它密码引起不必要的错误，还是用回原来的密码去修改
alter user RSA_USER identified by "your_password";
6）最后确认用户

11.最后，重启oracle数据库，再启动vcenter服务，结果，竟然：还不行！泪奔~~~
12.没辙了，继续放大招：重启系统。
13.奇迹出现了，vcenter服务自启动正常了。
14.用客户端测试连接，成功了。看了看时间，时间已经过去了8个小时。
心得：
1.要善于查看日志，定位问题。
2.善于利用搜索，官方的KB库，如果有现成的解决方案最好，如果没有，可以参考思路。
3.不放过任何的错误提示。