OpenStack故障排除

wanmin444

　　一、Nova故障排除
　　

　　1、不能ping通或ssh连到实例
　　ssh连接云主机超时，一般是安全组规则（SSH、HTTPS）没有使用默认的CIDR，而误指定了安全组。
　　ping不通云主机，一般是安全组规则没有开启ICMP规则，或是内网DHCP服务，没有启用。
　　1）当启动实例时，指定一个ssh、icmp、http等适合自己需求的规则及安全组。
　　2）检查是否启用了网络转发功能
　　# sysctl -A | grep ip_forwardnet.ipv4.ip_forward = 1
　　net.ipv4.ip_forward = 1应该设置为1，否则，应该检查/etc/sysctl.conf文件是否为上面那样的选项设置。修改之后，执行如下命令，进行更新：
　　# sysctl -p
　　3）再检查路由问题是否设置正常。
　　4）此外，还有可能是IPV6问题，如果环境中不需要，则应该取消。添加–use_ipv6=false到/etc/nova/nova.conf文件中，并重启Nova-compute和Nova-network服务。此外，也可通过修改/etc/modprobe.d/ipv6.conf文件，来从操作系统中取消。
　　# install ipv6 /bin/true
　　5）检查neutron服务是否运行正常，以及是否使用了正确的IP命名空间。
　　6）重启主机
　　

　　2、实例启动时停在Building或Pending阶段
　　1）在控制节点上，执行如下命令
　　#  nova-manage logs errors
　　2）当故障实例未能正常启动时，可查看日志文件/var/log/nova/nova-compute.log文件。该文件可能包含实例堵塞在Building状态的原因。如果环境繁忙，可以tail 日志文件并用实例的ID号过滤日志信息。
　　3)检查/var/log/nova/nova-network.log文件，如果实例没有正确的分配到IP地址，可能是dhcp服务无法分配地址或者IP配额已满的问题。应该检查/var/log/neutron/*.log文件。
　　

　　二、403、500等错误代码
　　

　　1、40X：指一个服务已经正常运行，但用户执行的命令或调度任务出错。例如，401是身份认证失败。
　　2）50X：指一个服务没有正常运行，所以请检查该服务是否运行正常。
　　查看openstack环境中的所有实例
　　# nova-manage vm list# virsh list --all
　　

　　三、Swift故障排除
　　1）身份认证问题
　　应当查看keystone服务日志或从执行任务的报错信息中理解。
　　2）查看一个容器的ACL
　　# swift -V 2.0 -A http://192.168.1.10:5000/v2.0 -U tenant:admin -K admin stat container
　　3）处理磁盘故障
　　当openstack swift环境中的磁盘出现故障时，首先确认磁盘已经被卸载，然后替换掉磁盘并重新调整ring。
　　4）处理服务器故障并重启系统
　　

　　四、Horizon故障排除
　　1、无法登陆到Dashboard
　　检查用户名或密码是否正确，比如：
　　# echo $OS_USERNAME
　　admin
　　2、如果可以登录，但是界面提示”Something went wrong“，则要检查运行horizon的机器可以访问所有keystone的服务。
　　# for i in 'keystone endpoint-list | grep http | awk {'print $6'} | cut -d / -f 3,3 | cut -d : -f 1';do ping -c 1 $i;done
　　3、还可以编辑horizon的配置文件/etc/openstack-dashboard/local_settings中的LOGGING部分，来打开更详细的日志输出来定位错误。
　　

　　五、Keystone故障排除
　　1）错误配置端点
　　如果在日志中出现http 500错误信息，则表示试图访问的服务不存在，导致客户端连接超时。为验证在每个区域中的端点，执行如下命令：
　　# keystone endpoint-list
　　一个更加人性化和详细的命令是：
　　# keystone catalog
　　进一步判断服务的类型，例如，要显示所有区域中的计算服务的adminURL：
　　# keystone endpoint-get --service compute --endpoint_type adminURL
　　+------------------+--------------------------------------------------------------+|     Property     |                            Value                             |+------------------+--------------------------------------------------------------+| compute.adminURL | http://192.168.1.10:8774/v2/1f7e9eb5143c48a59c1b164d54f45e58 |+------------------+--------------------------------------------------------------+
　　

　　2）身份认证问题
　　首先，查看相关服务的日志，比如Nova、glance、keystone等。
　　账号相关的问题，可能包括账户丢失，因此使用如下命令:
　　# keystone user-list
　　+----------------------------------+---------+---------+-------------------+|                id                |   name  | enabled |       email       |+----------------------------------+---------+---------+-------------------+| 7a98251d2efd4385bb06128d5f98086d |  admin  |   True  |   root@localhost  || 122832913025412fbfa5724667ce67ec |  cinder |   True  |  cinder@localhost || da2ebf9f61b944628cba39961b6c6bb4 |  glance |   True  |  glance@localhost || 32100e726d29424fb9e40413bd6ef8ec |  james  |   True  |                   || 1d7fc8c3c4114bae9eb766bea9a555e4 |  jordan |   True  |                   || 7f1629d7bc804f678f6168d937e9b3f4 |  kevin  |   True  |                   || d28f1aaf44c9457b896542611309cec5 |   kobe  |   True  |                   || c7dcb60dbf0045b88930f4bafe5d7a5d | neutron |   True  | neutron@localhost || b257c18d85aa444f86736e89e6bbe240 |   nova  |   True  |   nova@localhost  || 65c01f339609465387c80c0fab6647f0 |  swift  |   True  |  swift@localhost  |+----------------------------------+---------+---------+-------------------+
　　

　　如果该用户存在于用户列表中，则进一步查看该用户的详细信息：
　　# keystone user-get  7a98251d2efd4385bb06128d5f98086d
　　+----------+----------------------------------+| Property |              Value               |+----------+----------------------------------+|  email   |          root@localhost          || enabled  |               True               ||    id    | 7a98251d2efd4385bb06128d5f98086d ||   name   |              admin               || tenantId | 1f7e9eb5143c48a59c1b164d54f45e58 || username |              admin               |+----------+----------------------------------+
　　

　　重置某个用户的密码
　　# keystone user-password-update \--pass new_passwd \
　　user_id
　　

　　六、Neutron故障排除
　　1）实例无法注入SSH密钥，而使用户无法登陆云主机。
　　检查实例的网关能否路由到元数据服务器，如果不能，则创建一条能到该网路的路由规则。
　　

　　2）列出全部网络
　　# neutron net-list
　　+--------------------------------------+---------+-----------------------------------------------------+| id                                   | name    | subnets                                             |+--------------------------------------+---------+-----------------------------------------------------+| 64c2cbac-1b12-4086-bf28-52d59e3165f9 | public  | 61876d7f-22a2-4434-b7bf-ec30b9404daa 192.168.1.0/24 || 39a288a4-8dfd-483d-9bc5-35610c5c1b72 | private | a5dcb304-24f5-4818-a9db-2bbe884404a2 10.10.10.0/24  |+--------------------------------------+---------+-----------------------------------------------------+
　　

　　3）列出全部子网
　　# neutron subnet-list
　　+--------------------------------------+----------+----------------+--------------------------------------------------+| id                                   | name     | cidr           | allocation_pools                                 |+--------------------------------------+----------+----------------+--------------------------------------------------+| 61876d7f-22a2-4434-b7bf-ec30b9404daa | external | 192.168.1.0/24 | {"start": "192.168.1.38", "end": "192.168.1.40"} || a5dcb304-24f5-4818-a9db-2bbe884404a2 | internal | 10.10.10.0/24  | {"start": "10.10.10.2", "end": "10.10.10.254"}   |+--------------------------------------+----------+----------------+--------------------------------------------------+
　　4）列出Neutron端口
　　

　　# neutron port-list+--------------------------------------+------+-------------------+-------------------------------------------------------------------------------------+| id                                   | name | mac_address       | fixed_ips                                                                           |+--------------------------------------+------+-------------------+-------------------------------------------------------------------------------------+| 282fddc6-a51c-4841-a688-b550605899d1 |      | fa:16:3e:e1:e0:de | {"subnet_id": "61876d7f-22a2-4434-b7bf-ec30b9404daa", "ip_address": "192.168.1.38"} || aaf6ec6c-ee0d-46d9-9ff8-69313c3a7599 |      | fa:16:3e:b3:c2:41 | {"subnet_id": "a5dcb304-24f5-4818-a9db-2bbe884404a2", "ip_address": "10.10.10.1"}   || ab49a6ba-fd13-411d-9436-0f26085953e8 |      | fa:16:3e:27:e4:4c | {"subnet_id": "a5dcb304-24f5-4818-a9db-2bbe884404a2", "ip_address": "10.10.10.4"}   || cfc5a81a-e79c-4da4-9b4b-a26460ef2a18 |      | fa:16:3e:b5:95:ea | {"subnet_id": "a5dcb304-24f5-4818-a9db-2bbe884404a2", "ip_address": "10.10.10.3"}   |+--------------------------------------+------+-------------------+-------------------------------------------------------------------------------------+
　　

　　5）查看实例分配到的浮动IP地址
　　# nova list
　　-----------------------------------------------
　　一、Swift问题
　　执行，如下这一步时，提示下面这个问题，很明显，报错为HTTP 500，意思是该服务没有运行或者说运行不正常
　　#swift listAAuthorization Failure. Authorization Failed: An unexpected error prevented the server from fulfilling your request. (HTTP 500)
　　#keystone user-listAuthorization Failed: An unexpected error prevented the server from fulfilling your request. (HTTP 500)
　　查看swift的一个服务
　　#systemctl status openstack-swift-proxy.service
　　openstack-swift-proxy.service - OpenStack Object Storage (swift) - Proxy Server
　　Loaded: loaded (/usr/lib/systemd/system/openstack-swift-proxy.service; enabled)
　　Active: active (running) since Wed 2015-04-08 14:49:13 CST; 7s ago Main PID: 27408 (swift-proxy-ser)
　　CGroup: /system.slice/openstack-swift-proxy.service           ├─27408 /usr/bin/python /usr/bin/swift-proxy-server /etc/swift/proxy-server.conf           ├─27413 /usr/bin/python /usr/bin/swift-proxy-server /etc/swift/proxy-server.conf           ├─27414 /usr/bin/python /usr/bin/swift-proxy-server /etc/swift/proxy-server.conf           ├─27415 /usr/bin/python /usr/bin/swift-proxy-server /etc/swift/proxy-server.conf           ├─27416 /usr/bin/python /usr/bin/swift-proxy-server /etc/swift/proxy-server.conf           ├─27417 /usr/bin/python /usr/bin/swift-proxy-server /etc/swift/proxy-server.conf           ├─27418 /usr/bin/python /usr/bin/swift-proxy-server /etc/swift/proxy-server.conf           ├─27419 /usr/bin/python /usr/bin/swift-proxy-server /etc/swift/proxy-server.conf           └─27420 /usr/bin/python /usr/bin/swift-proxy-server /etc/swift/proxy-server.confApr 08 14:49:13 server1-a.example.com proxy-server[27419]: Configuring auth_uri to point to the public identity endpoint is require...dpointApr 08 14:49:13 server1-a.example.com proxy-server[27419]: Using /tmp/keystone-signing-swift as cache directory for signing certificateApr 08 14:49:13 server1-a.example.com proxy-server[27420]: Adding required filter dlo to pipeline at position 0Apr 08 14:49:13 server1-a.example.com proxy-server[27420]: Adding required filter gatekeeper to pipeline at position 0Apr 08 14:49:13 server1-a.example.com proxy-server[27420]: Adding required filter catch_errors to pipeline at position 0Apr 08 14:49:13 server1-a.example.com proxy-server[27420]: Pipeline was modified. New pipeline is "catch_errors gatekeeper dlo heal...roxy".Apr 08 14:49:13 server1-a.example.com proxy-server[27420]: Starting keystone auth_token middlewareApr 08 14:49:13 server1-a.example.com proxy-server[27420]: Configuring admin URI using auth fragments. This is deprecated, use 'ide...stead.Apr 08 14:49:13 server1-a.example.com proxy-server[27420]: Configuring auth_uri to point to the public identity endpoint is require...dpointApr 08 14:49:13 server1-a.example.com proxy-server[27420]: Using /tmp/keystone-signing-swift as cache directory for signing certificateHint: Some lines were ellipsized, use -l to show in full.
　　OK，这里的服务状态是没有问题的。我们直奔主题，看看keystone的log
　　查看keystone日志，这里可以看出是swift服务的endpoint配置错误了“(tenant-id)”。
　　#tail -f /var/log/keystone/keystone.log
　　2015-04-08 14:47:03.810 27239 TRACE root error: [Errno 98] Address already in use2015-04-08 14:47:03.810 27239 TRACE root
　　2015-04-08 14:47:03.811 27239 CRITICAL keystone [-] error: [Errno 98] Address already in use2015-04-08 14:48:19.559 27143 ERROR keystone.catalog.core [-] Malformed endpoint http://server1-a.example.com:8080/v1/AUTH_%(tenant-id)s - unknown key u'tenant-id'2015-04-08 14:48:19.559 27143 WARNING keystone.common.wsgi [-] An unexpected error prevented the server from fulfilling your request.2015-04-08 14:48:48.248 27143 ERROR keystone.catalog.core [-] Malformed endpoint http://server1-a.example.com:8080/v1/AUTH_%(tenant-id)s - unknown key u'tenant-id'2015-04-08 14:48:48.249 27143 WARNING keystone.common.wsgi [-] An unexpected error prevented the server from fulfilling your request.2015-04-08 14:49:32.258 27447 WARNING keystone.openstack.common.versionutils [-] Deprecated: keystone.middleware.core.XmlBodyMiddleware is deprecated as of Icehouse in favor of support for "application/json" only and may be removed in K.2015-04-08 14:49:48.012 27458 WARNING keystone.openstack.common.versionutils [-] Deprecated: keystone.middleware.core.XmlBodyMiddleware is deprecated as of Icehouse in favor of support for "application/json" only and may be removed in K.^C
　　进入mysql数据库修改数据为正确的“(tenant_id)”
　　#mysql -uroot -predhatWelcome to the MariaDB monitor.  Commands end with ; or \g.Your MariaDB connection id is 15Server version: 5.5.37-MariaDB-wsrep MariaDB Server, wsrep_25.10.r3980Copyright (c) 2000, 2013, Oracle, Monty Program Ab and others.Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.
　　MariaDB [(none)]> show databases;
　　+--------------------+| Database           |+--------------------+| information_schema || keystone           || mysql              || performance_schema || test               |+--------------------+5 rows in set (0.00 sec)
　　MariaDB [(none)]> use keystone;
　　Reading table information for completion of table and column namesYou can turn off this feature to get a quicker startup with -ADatabase changedMariaDB [keystone]> show tables;
　　+-----------------------+| Tables_in_keystone    |+-----------------------+| assignment            || credential            || domain                || endpoint              || group                 || migrate_version       || policy                || project               || region                || role                  || service               || token                 || trust                 || trust_role            || user                  || user_group_membership |+-----------------------+16 rows in set (0.00 sec)MariaDB [keystone]> select * from endpoint;+----------------------------------+----------------------------------+-----------+-----------+----------------------------------+---------------------------------------------------------+-------+---------+| id                               | legacy_endpoint_id               | interface | region    | service_id                       | url                                                     | extra | enabled |+----------------------------------+----------------------------------+-----------+-----------+----------------------------------+---------------------------------------------------------+-------+---------+| 5207f7d59e3a4b458c4f3af0f1655453 | ca2f88cbd2e94c1389751ef3c7deaf81 | admin     | regionOne | d035698982f34af89469a01ab6beb81c | http://server1-a.example.com:8080/v1/AUTH_%(tenant-id)s | {}    |       1 || 6abcaec50de449e8af9d052e89393545 | 311dfd01ef7a4cb794f7b6b0ff54812f | internal  | regionOne | 607cb091a6154bd7bad83835e6e32496 | http://server1-a.example.com:5000/v2.0                  | {}    |       1 || a59e60335f404583979098c0162e43e5 | 311dfd01ef7a4cb794f7b6b0ff54812f | admin     | regionOne | 607cb091a6154bd7bad83835e6e32496 | http://server1-a.example.com:35357/v2.0                 | {}    |       1 || cfa7bacf373d49418e287d90ee0e595f | ca2f88cbd2e94c1389751ef3c7deaf81 | public    | regionOne | d035698982f34af89469a01ab6beb81c | http://server1-a.example.com:8080/v1/AUTH_%(tenant_id)s | {}    |       1 || e58a543fd5b4417487fd5469747f099f | 311dfd01ef7a4cb794f7b6b0ff54812f | public    | regionOne | 607cb091a6154bd7bad83835e6e32496 | http://server1-a.example.com:5000/v2.0                  | {}    |       1 || ff9001eafac64c1399a1758dcfb50ea5 | ca2f88cbd2e94c1389751ef3c7deaf81 | internal  | regionOne | d035698982f34af89469a01ab6beb81c | http://server1-a.example.com:8080/v1/AUTH_%(tenant_id)s | {}    |       1 |+----------------------------------+----------------------------------+-----------+-----------+----------------------------------+---------------------------------------------------------+-------+---------+6 rows in set (0.00 sec)MariaDB [keystone]> update endpoint set url="http://server1-a.example.com:8080/v1/AUTH_%(tenant_id)s" where id='5207f7d59e3a4b458c4f3af0f1655453';Query OK, 1 row affected (0.33 sec)Rows matched: 1  Changed: 1  Warnings: 0MariaDB [keystone]> select * from endpoint;
　　+----------------------------------+----------------------------------+-----------+-----------+----------------------------------+---------------------------------------------------------+-------+---------+| id                               | legacy_endpoint_id               | interface | region    | service_id                       | url                                                     | extra | enabled |+----------------------------------+----------------------------------+-----------+-----------+----------------------------------+---------------------------------------------------------+-------+---------+| 5207f7d59e3a4b458c4f3af0f1655453 | ca2f88cbd2e94c1389751ef3c7deaf81 | admin     | regionOne | d035698982f34af89469a01ab6beb81c | http://server1-a.example.com:8080/v1/AUTH_%(tenant_id)s | {}    |       1 || 6abcaec50de449e8af9d052e89393545 | 311dfd01ef7a4cb794f7b6b0ff54812f | internal  | regionOne | 607cb091a6154bd7bad83835e6e32496 | http://server1-a.example.com:5000/v2.0                  | {}    |       1 || a59e60335f404583979098c0162e43e5 | 311dfd01ef7a4cb794f7b6b0ff54812f | admin     | regionOne | 607cb091a6154bd7bad83835e6e32496 | http://server1-a.example.com:35357/v2.0                 | {}    |       1 || cfa7bacf373d49418e287d90ee0e595f | ca2f88cbd2e94c1389751ef3c7deaf81 | public    | regionOne | d035698982f34af89469a01ab6beb81c | http://server1-a.example.com:8080/v1/AUTH_%(tenant_id)s | {}    |       1 || e58a543fd5b4417487fd5469747f099f | 311dfd01ef7a4cb794f7b6b0ff54812f | public    | regionOne | 607cb091a6154bd7bad83835e6e32496 | http://server1-a.example.com:5000/v2.0                  | {}    |       1 || ff9001eafac64c1399a1758dcfb50ea5 | ca2f88cbd2e94c1389751ef3c7deaf81 | internal  | regionOne | d035698982f34af89469a01ab6beb81c | http://server1-a.example.com:8080/v1/AUTH_%(tenant_id)s | {}    |       1 |+----------------------------------+----------------------------------+-----------+-----------+----------------------------------+---------------------------------------------------------+-------+---------+6 rows in set (0.00 sec)MariaDB [keystone]> quitBye
　　

　　修改之后，我们重启服务
　　#systemctl restart openstack-keystone
　　#systemctl restart mariadb.service
　　#systemctl restart openstack-keystone
　　#systemctl restart memcached
　　#systemctl restart openstack-swift-proxy
　　#systemctl restart openstack-swift-container.service
　　#systemctl restart openstack-swift-account.service
　　OK，问题解决
　　#swift list
　　

　　二、neutron 问题
　　创建路由时，提示下面这个问题
　　#neutron router-create router1
　　Authentication required
　　查看日志
　　#tail -f /var/log/keystone/keystone.log
　　2015-04-09 09:31:48.966 1444 WARNING keystone.common.wsgi [-] Could not find role, admin.2015-04-09 09:31:48.997 1444 WARNING keystone.common.wsgi [-] Could not find project, services.2015-04-09 11:47:57.934 1444 WARNING keystone.common.wsgi [-] Authorization failed. The request you have made requires authentication. from 127.0.0.12015-04-09 11:47:58.081 1444 WARNING keystone.common.wsgi [-] Authorization failed. The request you have made requires authentication. from 127.0.0.12015-04-09 11:48:41.130 1444 WARNING keystone.common.wsgi [-] Authorization failed. The request you have made requires authentication. from 127.0.0.12015-04-09 11:48:41.273 1444 WARNING keystone.common.wsgi [-] Authorization failed. The request you have made requires authentication. from 127.0.0.12015-04-09 12:06:56.024 1444 WARNING keystone.common.wsgi [-] You are not authorized to perform the requested action, admin_required.2015-04-09 12:07:09.367 1444 WARNING keystone.common.wsgi [-] You are not authorized to perform the requested action, admin_required.2015-04-09 12:07:54.750 1444 WARNING keystone.common.wsgi [-] Authorization failed. The request you have made requires authentication. from 127.0.0.12015-04-09 12:07:54.886 1444 WARNING keystone.common.wsgi [-] Authorization failed. The request you have made requires authentication. from 127.0.0.1
　　查看keystone日志，没问题；status keystone服务也是运行了的。
　　–debug时，发现了一些问题，由于一些原因，debug信息这里没有贴出来，得知是配置错误了。
　　#neutron --debug router-create router1
　　添加，admin_user 解决（配置时，遗漏了这一步）
　　#vim /etc/neutron/neutron.conf[keystone_authtoken]admin_user = neutron
　　最后，重启服务
　　#systemctl restart neutron-server.service
　　

　　三、OpenStack服务排查
　　openstack服务运行查看
　　# openstack-status# openstack-service neutron
　　诊断问题，除了我们使用–debug、看日志问题外。我们还可以使用–config-file指定服务的配置文件，来检查
　　这里以neutron为例
　　# ps aux | grep neutron-service
　　# neutron-l3-agent --config-file /etc/neutron/neutron.conf --config-file /etc/neutron/l3_agent.ini   (这后面跟一些该服务的配置文件，可以通过如下systemd查看与哪些配置文件相关)
　　#ls /usr/lib/systemd/system | grep neutron*neutron-dhcp-agent.service
　　neutron-l3-agent.service
　　neutron-lbaas-agent.service
　　neutron-metadata-agent.service
　　neutron-netns-cleanup.service
　　neutron-openvswitch-agent.service
　　neutron-ovs-cleanup.service
　　neutron-server.service
　　#vim /usr/lib/systemd/system/neutron-l3-agent.service
　　

　　[Unit]Description=OpenStack Neutron Layer 3 AgentAfter=syslog.target network.target[Service]Type=simpleUser=neutronExecStart=/usr/bin/neutron-l3-agent --config-file /usr/share/neutron/neutron-dist.conf --config-file /etc/neutron/neutron.conf --config-file /etc/neutron/l3_agent.ini --config-file /etc/neutron/fwaas_driver.ini --log-file /var/log/neutron/l3-agent.logPrivateTmp=falseKillMode=process[Install]WantedBy=multi-user.target
　　

　　四、Horizon界面登陆不上
　　问题描述：
　　Horizon界面登陆不上，IP地址可以ping通；检查Nova-api服务、httpd服务均为正常运行，80端口也正常开放；相应horizon日志也无错误和警告信息。
　　由于，部分原因，这里便未贴出登陆web页面报错图片。出现上述情况后，也着实纠结了下，但随后不久，联想到CA证书问题。（使用的是火狐浏览器）
　　于是，便尝试在其他电脑上登陆，OK，能登陆。果然是CA证书问题，因为之前那个浏览器其他人登陆过Dashboard，于是将该浏览器上的CA证书删除之、重启，问题解决。
　　

　　OpenStack错误概率
　　1、20%的可能性是自己敲命令错了，这需要自己仔细核对是否有误。
　　2、50%的可能是自己配置文件时配置错了，这需要检查是否有误。
　　3、4%的可能性是自己遇到bug了，你可以求助于bug社区。
　　

　　--------------------------------------
　　

　　1、故障通常有以下几种情况：
　　时间同步问题，两（多）个节点间时间不同步
　　数据库问题，权限问题，数据库缺失，表结构不存在（数据库建立表结构时出错），用户名密码错误等
　　软件包没有正确安装，例如国外的源网络存在波动或网站存在故障或网站临时修改了源的路径等都会导致软件包安装出现重大错误，而安装的人却没有发现
　　配置文件中配置出错，这种错误最为常见，往往一个不易引人注意的错误就会出现问题，就如本文刚开始的第二段所说的一样，诸如此类还有把0写成o，把1写成l，service写成server等
　　网络接口地址用错，例如这次的排错步骤中还发现控制节点上的endpoint-list发现public url用的是错误地址，如本地环回地址而不是管理接口地址
　　服务用户缺失，一般由软件bug或软件安装不正确导致，如以前有rabbitmq需要的rabbitmq不存在，导致rabbitmq的guest密码不可修改等问题。
　　文件权限问题，如配置文件在更换后没有配置文件权限，例如本来是root:nova的文件所有者，被换成了root:root，一定会出现服务无法正常运行的问题。
　　

　　2、通常排错方法总结如下：
　　检查软件日志和系统日志，这是第一步就要做的，如果没有生成软件日志就考虑查看系统日志，可以将/var/log/messages文件清空再执行一下相关的命令，查看此文件中的日志，可以在执行命令后没有生成日志的情况下使用此方法解决这一问题（在今天的故障排除中具有关键作用）。
　　删除软件包时要用rpm –e packages而不要用yum erase packages，以免删除还需要用的依赖包
　　保留（备份）配置文件，重新安装软件包，yum reinstall packages
　　执行完不确定执行结果的命令后，用echo $?检查执行结果，0为没有错，1以上为有严重错误，如执行su -s /bin/sh -c “nova-manage db sync” nova时，如果遇到前面所说的数据库问题中的权限问题等就会出错，但此命令结束后并不报错。
　　认真比对配置文件，把注释行和空白行全部清除再做对比，grep –v \# /filepath/filename | grep –v ^$可以实现删除注释行和空白行
　　坚定信念，计算机不会犯错，别人能成功，那一定是自己的错！（这话说的很有道理，不是我说的哦，哈哈）
　　

　　3、查看日志
　　查看日志我们进入/var/log，如果是keystone错误，就是进入keystone目录，查看相关日志。
　　

　　4、debug
　　正常命令 keystone  user-list
　　debug命令为：
　　keystone –debug user-list
　　5、curl获取信息
　　curl的资料，baidu、google吧，可以用它来获取反馈信息。
　　############################################
　　

　　本文参考自：
　　http://dgd2010.blog.51cto.com/1539422/1587808
　　http://1.chaoxu.sinaapp.com/archives/1657
　　http://1.chaoxu.sinaapp.com/archives/1668