IBM System p5 服务器 HACMP 安装指南

nihaogirl

一. 系统需求
1.1 硬件需求
       IBM HACMP 支持所有 IBM System p5 服务器。

1.2 软件需求

1.2.1 AIX 与 RSCT 版本要求

AIX 5L Version	RSCT Version	RSCT Filesets
AIX 5L Version 5.3 TL1	2.4.2	rsct.compat.basic.hacmp 2.4.2.0 rsct.compat.clients.hacmp 2.4.2.0 rsct.core.sec 2.4.2.1 rsct.core.rmc 2.4.2.1
AIX 5L Version 5.2 TL5	2.3.6	rsct.compat.basic.hacmp 2.3.6.0 rsct.compat.clients.hacmp 2.3.6.0 rsct.core.sec 2.3.6.1 rsct.core.rmc 2.3.6.1

1.2.2  AIX BOS 软件要求

AIX 5L BOS Component	AIX 5L V5.2 TL5 或更新版本	AIX 5L V5.3 TL1 或更新版本
bos.adt.lib	5.3.0.10	5.2.0.10
bos.adt.libm	5.3.0.10	5.2.0.13
bos.adt.syscalls	5.3.0.10	5.2.0.11
bos.net.tcp.client	5.3.0.10	5.2.0.14
bos.net.tcp.server	5.3.0.10	5.2.0.14
bos.rte.SRC	5.3.0.10	5.2.0.10
bos.rte.libc	5.3.0.10	5.2.0.14
bos.rte.libcfg	5.3.0.10
bos.rte.libcur	5.3.0.10	5.2.0.10
bos.rte.libptdreads	5.3.0.10	5.2.0.12
bos.rte.odm	5.3.0.10	5.2.0.11
bos.data (require for cluster.man.en_US.es)	5.3.0.10	5.2.0.10
bos.clvm.enh (require for CLVM)
bos.rte.lvm.rte (require for CLVM)

二. 安装前的准备工作
       本安装指南所提及的 node1 和 node2 分别表示安装 HACMP 的两台 p5 服务器，本例中采用 IP 别名方式做心跳，oracle 应用做为上层应用。安装 HACMP 前需完成以下工作 :

2.1  配置集群网络
       HACMP 集群的 IP 地址分为三大类：Boot ip( 也叫 base ip)、Service ip 和 Heartbeat ip( 使用 IP 做心跳时需要 )。这三种 IP 最好都在不同网段。下面是本文中采用的 IP 分配，仅供参考：

集群网络配置

节点	IP 类别	IP 地址	IP 标签	网络接口
node1	Boot ip	192.168.25.23/16	ha1_bt1	en0
node1	Boot ip	10.0.25.23/16	ha1_bt2	en1
node2	Boot ip	192.168.25.24/16	ha2_bt1	en0
node2	Boot ip	10.0.25.24/16	ha2_bt2	en1
node1,node2	Service ip	10.1.25.1/16	ha_svc1
node1,node2	Hearbeat ip offset	10.2.25.1/16	ha1_bt1

       上例子中有 IP 标签的 IP 地址都需加入 /etc/hosts 文件。/etc/hosts 文件内容如下：

127.0.0.1      loopback localhost 192.168.25.23     ha1_bt1 192.168.25.24     ha2_bt1 10.0.25.23    ha1_bt2 10.0.25.24    ha2_bt2 10.1.25.1        ha_svc1

       因为 Hearbeat ip offset 是一个地址段，10.2.25.1/16 只是一个起始地址，所以不需要加入到 /etc/hosts 中。
为保证主机名解析正确无误，修改 AIX 解析顺序：
# echo “hosts = local, bind” >/etc/netsvc.conf

2.2  配置集群共享磁盘
       如果采用 EXP24 作为共享存储，需更改 SCSI ID；如果采用 DS4000 系列存储，可跳过此步。EXP24 作共享磁盘需更改服务器端的 SCSI 通道 ID，以免 SCSI ID 冲突。默认 SCSI ID 为 7，可将其中一台服务器的 SCSI ID 改为 6 或者 8。SCSI ID 的值越大，优先级越高，SCSI ID 的范围是 1-15。SCSI ID 的更改可在 SMS 菜单中进行，也可使用以下命令进行更改：
# chdev -a id=6 -l scsi2 -P

其中 scsi2 是服务器与 EXP24 连接的 SCSI 通道。

       在 node1 上在创建共享磁盘卷组。使用 smitty _mkovg 创建一个 Original VG。在 VOLUME GROUP name 处输入卷组的名称，并在 PHYSICAL VOLUME names 处选择共享磁盘中的 pv，将 Activate volume group AUTOMATICALLY at system restart 选项由 yes 改为 no。

Add an Original Volume Group

[Entry Fields]
VOLUME GROUP name [datavg]
Physical partition SIZE in megabytes +
* PHYSICAL VOLUME names [hdisk3] +
FORCE the creation of volume group? no +
Activate volume group AUTOMATICALLY no +
at system restart?
Volume group MAJOR NUMBER [] +#
Create VG Concurrent Capable? no +

注意：
（1）需要将卷组设置为系统开机时不自动激活，即将“Activate volume group AUTOMATICALLY at system restart?”的值设为 NO。
（2）如果采用磁盘心跳，需将磁盘心跳所在的磁盘的卷组设为 concurrent 模式的 VG

     在 node1 的共享磁盘卷组上创建逻辑卷及文件系统。根据应用的要求创建相应大小的逻辑卷及文件系统。
在 node1 上使用以下命令反激活卷组。
# varyoffvg

2.3  添加 tty 设备 ( 串口心跳 )
       在 node1 和 node2 上安装串口扩展卡，并用串口线将两个节点相连。
       添加串口设备，将波特率设为 9600。使用 smitty maktty 命令添加串口设备，首先选择 rs232 作为终端类型，然后选择相应的异步适配器，最后回车出现以下界面。
Add a TTY

[TOP] [Entry Fields]
TTY type tty
TTY interface rs232
Description Asynchronous Terminal
Parent adapter sa0
* PORT number [0] +
Enable LOGIN disable +
BAUD rate [9600] +
PARITY [none] +
BITS per character [8] +
Number of STOP BITS [1] +
TIME before advancing to next port setting [0] +#
TERMINAL type [dumb]
FLOW CONTROL to be used [xon] +
[MORE...29]

       在 PORT number 处选择端口号，在 BAUD rate 处选择波特率为 9600，应保证两节点之间的串口端口的波特率相同。

测试串口是否工作正常。在 node1 节点上进行以下操作：
node1# cat /etc/hosts >/dev/tty0

在 node2 节点上进行以下操作：
node2# cat < /dev/tty0

如果在 node2 上看到文字输入，表示串口工作正常

2.4 建立应用启动和停止脚本
       分别在两个节点在创建应用启动和停止脚本，并让这两个脚本有执行权限。两个节点的脚本的路径必须一致。
# touch /usr/sbin/start_oracle /usr/sbin/stop_oracle
# chmod +x /usr/sbin/start_oracle /usr/sbin/stop_oracle

三. 安装步骤

3.1 安装 HACMP 软件及相应的补丁。
       本安装指南讲述 HACMP/ES 的安装过程，如果需要使用 HACMP/XD，请参考 IBM 相关资料进行正确安装。将 HACMP V5.4 光盘放入光驱后，请安装以下软件包：
HACMP 软件列表

HACMP Fileset	Description
cluster.es	HACMP/ES Basic software
cluster.es.cfs	HACMP/ES Cluster File System Support
Cluster.es.cspoc	HACMP/ES CSPOC
Cluster.es.plugins	HACMP/ES plug-in software
Cluster.license	HACMP Electronic License
cluster.man.en_US.es	HACMP/ES english man pages

3.2 建立集群：通过以下路径进入添加集群界面，然后输入集群名称。
smitty hacmp->Extended Configuration->Extended Topology Configuration ->Configure an HACMP Cluster->Add/Change/Show an HACMP Cluster

Add/Change/Show an HACMP Cluster

[Entry Fields]
* Cluster Name [ha_cluster]

3.3 添加节点：通过以下路径进入添加集群节点界面，输入节点名和此节点的通信接口 ( 这里使用上面提到的 Boot ip)。
smitty hacmp->Extended Configuration->Extended Topology Configuration->Configure HACMP Nodes->Add a Node to the HACMP Cluster

3.3.1 添加节点 1

Add a Node to the HACMP Cluster
[Entry Fields]
* Node Name [node1]
Communication Path to Node [ha1_bt1]

以相同方法添加第二个节点。如果有多个节点，以此类推。

3.3.2  添加节点 2
Add a Node to the HACMP Cluster

[Entry Fields]
* Node Name [node2]
Communication Path to Node [ha2_bt1]

3.4 在两节点上收集 HACMP 相关信息 ( 可选 )：通过以下路径进行集群信息收集。
smitty hacmp->Extended Configuration->Discover HACMP-related Information from Configured Nodes

Extended Configuration
Discover HACMP-related Information from Configured Nodes
Extended Topology Configuration
Extended Resource Configuration
Extended Cluster Service Settings
Extended Event Configuration
Extended Performance Tuning Parameters Configuration
Security and Users Configuration
Snapshot Configuration
Export Definition File for Online Planning Worksheets

Extended Verification and Synchronization

HACMP Cluster Test Tool

3.5 添加网络：

       HACMP 的网络分为 Discovered network 和 Pre-defined network 两种，如果之前有收集 HACMP 的相关信息，可选 Discovered network；否则，选择 Pre-defined network。此处可以根据此集群采用的心跳方式选择相应的网络，包括 ether network、diskhb network 和 rs232 network。本例中我们采用 IP 别名方式做心跳。

smitty hacmp->Extended Configuration->Extended Topology Configuration->Configure HACMP Networks->Add a Network to the HACMP Cluster

       我们采用 IP 网络做为心跳网络，在“IP Address Offset for Heartbeating over IP Aliases”处填写心跳起始地址。本例中每个节点有两个网口并且采用 IP 别名方式做心跳，所以心跳 IP 地址会采用 10.2.25.1,10.2.25.2,10.3.25.1,10.3.25.2 这四个 IP 地址。

Add an IP-Based Network to the HACMP Cluster

[Entry Fields]
* Network Name [net_ether_01]
* Network Type ether
* Netmask [255.255.0.0] +
* Enable IP Address Takeover via IP Aliases [Yes] +
IP Address Offset for Heartbeating over IP Aliases [10.2.25.1]

3.6 添加通信接口：
smitty hacmp->Extended Configuration->Extended Topology Configuration->Configure HACMP Communication Interfaces/Devices->Add Communication Interfaces/Devices->Add Discovered Communication Interface and Devices->Communication Interfaces->ALL

Select Point-to-Point Pair of Discovered Communication Devices to Add

Move cursor to desired item and press F7.
ONE OR MORE items can be selected.
Press Enter AFTER making all selections.

[MORE…4]
en0 ha1_bt1 192.168.25.23
# net_ether_01 / node1
en1 ha1_bt2 10.0.25.23
# net_ether_01 / node2
en0 ha2_bt1 192.168.25.24
en1 ha2_bt2 10.0.25.24

[BOTTOM]

选择四个网口 (boot ip) 做为通信接口，然后回车。

3.7 添加通信设备（用于串口心跳和磁盘心跳）
       如果采用 IP 网络做心跳可跳过此步骤：此步骤的样例是采用磁盘心跳的方式，如果采用串口心跳的话，选择串口设备即可。
smitty hacmp->Extended Configuration->Extended Topology Configuration->Configure HACMP Communication Interfaces/Devices->Add Communication Interfaces/Devices->Add Discovered Communication Interface and Devices->Communication Devices

Select Point-to-Point Pair of Discovered Communication Devices to Add

Move cursor to desired item and press F7.
ONE OR MORE items can be selected.
Press Enter AFTER making all selections.

# Node Device Pvid
node2 hdisk3 000d3adaf6804f40
node1 hdisk3 000d3adaf6804f40
node1 tmscsi0
node2 tmscsi0
node1 tmscsi1

选择 node1 和 node2 上的 hdisk3，然后回车即可。

3.8 添加应用服务器：在 Server Name 处输入应用的名称，在 Start Script 和 Stop Script 处输入应用的启动和停止脚本的路径。

smitty hacmp->Extended Configuration->Extended Resource Configuration->HACMP Extended Resources Configuration->Configure HACMP Applications Servers->Configure HACMP Application Servers->Add an Application Server

Add Application Server

[Entry Fields]
* Server Name [oracle]
* Start Script [/usr/sbin/start_oracl>
* Stop Script [/usr/sbin/stop_oracle]

Application Monitor Name(s) +

此应用服务的启动和停止脚本就是之前在做准备工作时创建的那两个脚本。

3.9  添加服务 IP：
smitty hacmp->Extended Configuration->Extended Resource Configuration->HACMP Extended Resources Configuration->Configure HACMP Service IP Labels/Addresses->Add a Service IP Label/Address->Configurable on Multiple Nodes

Add a Service IP Label/Address configurable on Multiple Nodes (extended)

[Entry Fields]
* IP Label/Address ha_svc1 +
* Network Name net_ether_01
Alternate Hardware Address to accompany IP Label/A []

ddress

       首先选择此服务 IP 在哪个网络上，我们这里选择 net_ether_01 后，将会出现以上界面。在 IP Label/Address 处选择相应的服务 IP 的 Label。

3.10  添加资源组：
smitty hacmp->Extended Configuration->Extended Resource Configuration->HACMP Extended Resource Group Configuration->Add a Resource Group

Add a Resource Group (extended)

[Entry Fields]
* Resource Group Name [oracle_resg]
* Participating Nodes (Default Node Priority) [node1 node2] +

Startup Policy Online On Home Node O>+
Fallover Policy Fallover To Next Prio>+

Fallback Policy Fallback To Higher Pr>+

       在 Resource Group Name 处输入资源组的名称，在 Participating Nodes (Default Node Priority) 处选择参与的节点。

3.11  更改资源组属性：
将服务 IP、应用服务器和卷组都加入到此资源组中
smitty hacmp->Extended Configuration->Extended Resource Configuration->HACMP Extended Resource Group Configuration->Change/Show Resources and Attributes for a Resource Group

Change/Show All Resources and Attributes for a Resource Group

[TOP] [Entry Fields]
Resource Group Name oracle_resg
Participating Nodes (Default Node Priority) node1 node2

Startup Policy Online On Home Node O>
Fallover Policy Fallover To Next Prio>
Fallback Policy Fallback To Higher Pr>
Fallback Timer Policy (empty is immediate) [] +

Service IP Labels/Addresses [ha_svc1] +
Application Servers [oracle] +

Volume Groups [datavg ] +
Use forced varyon of volume groups, if necessary false +
[MORE...20]

       选择刚刚创建的资源组后，将会出现以上界面。在 Service IP Labels/Addresses 处选择刚创建的服务 IP，在 Application Servers 处选择刚创建的应用服务，在 Volume Groups 处选择共享 VG。

3.12 验证配置并与集群中的其它节点进行同步：
       必须保证同步的结果是正确，如果有错误出现，请按照错误提示进行相应调试.
smitty hacmp->Extended Configuration->Extended Verification and Synchronization

HACMP Verification and Synchronization

[Entry Fields]
* Verify, Synchronize or Both [Both] +
* Automatically correct errors found during [No] +
verification?

* Force synchronization if verification fails? [No] +
* Verify changes only? [No] +
* Logging [Standard] +

按照默认值即可，无须更改。
3.13  测试 HACMP 是否正常工作（可选）：
smitty hacmp->Extended Configuration->HACMP Cluster Test Tool->Execute Automated Test Procedure

Execute Automated Test Procedure (extended)

[Entry Fields]
Verbose Logging [Yes] +
Cycle Log File [Yes] +
Abort On Error [No] +

按照默认值即可，无须更改。

3.14  启动 HACMP：
       启动 HACMP 可以选择是在两个节点同时启动 HACMP 服务或只有某一节点上启动 HACMP 服务。可将“Startup Cluster Information Daemon”的值设为 true，这样在启动 HACMP 服务的同时会启动集群信息进程。
smitty hacmp->System Management (C-SPOC)->Manage HACMP Services->Start Cluster Services

Start Cluster Services

[Entry Fields]
* Start now, on system restart or both now +
Start Cluster Services on these nodes [node1, node2] +
* Manage Resource Groups Automatically +
BROADCAST message at startup? true +
Startup Cluster Information Daemon? true +
Ignore verification errors? false +
Automatically correct errors found during Interactively +

cluster start?

       在 Start Cluster Services on these nodes 处选择要在哪些节点上启动 HACMP Cluster。

3.15  查看 HACMP 状态：
smitty hacmp->System Management (C-SPOC)->Manage HACMP Services->Show Cluster Services

Manage HACMP Services

Move cursor to desired item and press Enter.

Start Cluster Services
Stop Cluster Services

Show Cluster Services

选择 Show Cluster Services，然后回车查看 HACMP 当前状态

3.16 停止 HACMP：
smitty hacmp->System Management (C-SPOC)->Manage HACMP Services->Stop Cluster Services

Stop Cluster Services

[Entry Fields]
* Stop now, on system restart or both now +
Stop Cluster Services on these nodes [node1,node2] +
BROADCAST cluster shutdown? true +
* Select an Action on Resource Groups Bring Resource Groups>+

在 Stop Cluster Services on these nodes 处选择要停止 HACMP 服务的节点。


四. 安装后的任务以及常见问题
4.1 安装后的任务
（1）修改 PATH 环境变量：将 /usr/es/sbin/cluster 和 /usr/es/sbin/cluster/utilities 加入 PATH 环境变量中，这样可以在命令行中使用 HACMP 自带的工具。
（2）使用以下命令追踪 HACMP 实时运行状态：
# tail –f /tmp/hacmp.out
（3）常用命令：clstat，clinfo，clRGinfo，cldisp
      
4.2 常见问题
（1）如果采用磁盘心跳需将共享磁盘所在的卷组设为 concurrent 模式。
（2）当集群中的一个节点重新加入集群时，所有的资源和服务不会自动切换，需在恢复的节点上手动启动 HACMP。



From：
http://www.ibm.com/developerworks/cn/edu/au-dw-au-hacmpinst-i.html





------------------------------------------------------------------------------
Blog： http://blog.iyunv.com/tianlesoftware
网上资源： http://tianlesoftware.download.iyunv.com
相关视频：http://blog.iyunv.com/tianlesoftware/archive/2009/11/27/4886500.aspx
DBA1 群：62697716(满); DBA2 群：62697977(满)
DBA3 群：62697850   DBA 超级群：63306533;     
聊天 群：40132017
--加群需要在备注说明Oracle表空间和数据文件的关系，否则拒绝申请