用Apache + Imart(Resine) + RAC做集群实验

LOCKLOSE

　　用Apache + Imart(Resine) + RAC做集群实验

　　蒋彪@南京 2011-11-15

1. 前言
　　目前的项目越做越大。进项目的测试人员也越来越多。
　　最早的将DB和AS部署在一台2G内存的机器上已经吃不消了。
　　而公司也没有多余的好机器。为此，我决定尝试做集群环境。

2. 集群所需资源
　　我考虑用如下图制作集群架构

　　简单的说起来，
　　1. 前端http服务器我考虑用Apache 2.2来使用，性能稳定并且开源
　　2. LoadBlance最好的还是用LVS。 不过，因为我们这次的AS本身已经提供了round robin的功能。所以方便期间，我没有再新设。
　　3. AS，这次客户选用的是imart，一个基于resine的应用服务器。我分别部署了两台。
　　4. DB，我找了两台很烂的机器做rac.
　　综上所述，我所需要的资源是：一台2G用来做前台服务器，两台2G用来做AS集群，两个2G用来做RAC

3. 集群安装的顺序
　　首先先安装imart到两台AS上，然后分别修改imart的http.xml文件如下：

<server address="127.28.1.1" id="APP:127.28.1.1:8080">
<cluster-port port="6800" secure="false"/>
<http port="8080" secure="false"/>
</server>
<server address="127.28.1.21" id="APP:127.28.1.2:8080">
<cluster-port port="6800" secure="false"/>
<http port="8080" secure="false"/>
</server>

　　同时，为了session的共享。放开以下的配置：

<session-config>
<use-persistent-store>true</use-persistent-store>
<always-save-session>true</always-save-session>
<save-mode>after-request</save-mode>
</session-config>

注意，imart的集群之间是通过DB来共享session。所以需要为session专门建个DB
<resin:if test="${resin.professional}">
<persistent-store type="jdbc">
<init>
<data-source>jdbc/sessionDB</data-source>
</init>
</persistent-store>
</resin:if>
2. 接着安装Apache和imart的WebConnector
Imart的WebConnector是类似于LVS的loadBlancer工具。不过他的分发是根据时间段，而没有那么复杂的配置可能。
Apache2.2安装完成之后，要在httpd.conf中如下追加：
<IfModule ssl_module>
SSLRandomSeed startup builtin
SSLRandomSeed connect builtin
</IfModule>
Alias /imart "C:/imart_web"
<Directory "C:/imart_web">
Order allow,deny
Allow from all
</Directory>
LoadModule caucho_module C:/imart_web/round_robin/win32/apache2.2/mod_caucho.dll
ResinConfigServer 172.28.1.1 6800
ResinConfigServer 172.28.1.2 6800
#<Location /caucho-status>
#  SetHandler caucho-status
#</Location>
3. RAC的安装
由于这里的网络教程很多，就不多说了。
有关于RAC的AS设定如下，在imart的http.xml中如下修改：
<database>
<jndi-name><%データソース参照名%></jndi-name>
<driver>
<type>oracle.jdbc.pool.OracleConnectionPoolDataSource</type>
<url>jdbc:oracle:thin:@(DESCRIPTION=
(ADDRESS_LIST=
(FAILOVER=ON)
(LOAD_BALANCE=ON)
(ADDRESS = (PROTOCOL = TCP)(HOST = Node_A)(PORT = 1521))
(ADDRESS = (PROTOCOL = TCP)(HOST = Node_B)(PORT = 1521))
)
(CONNECT_DATA = ( SERVICE_NAME=rac ) )
)
</url>
<user>DB 接続ユーザ名</user>
<password>DB 接続ユーザのパスワード</password>
</driver>
<prepared-statement-cache-size>8</prepared-statement-cache-size>
<max-connections>20</max-connections>
<max-idle-time>30s</max-idle-time>
<ping>true</ping>
<ping-table>dual</ping-table>
<ping-interval>60s</ping-interval>
</database>
4.集群中的session failvor

Imart集群中对session failvor的方法是在DB中存一个表：
CREATE TABLE persistent_session (
id VARCHAR(64) NOT NULL,
data BLOB,
access_time int(11),
expire_interval int(11),
PRIMARY KEY(id)
)
Imart会定时的的保存session数据到这个表中，当一台机器挂掉的时候，别的机器就会自动去找session消息，然后接着操作。

　　不过缺点是，这个表的数据需要自己手动清空。
　　
5. 其他补充
　　为了自动同步和发布基线库的代码，我还写了一个同步工具。从SVN的指定分支上拉代码部署编译上线
　　
　　为了方便测试人员监控系统，我用了Splunx来监控所有AS上的日志。
　　
　　这样搞完，基本上算是搞出了个能够模拟真实环境的可负载的高强度测试环境。