Amoeba for MySQL 读写分离配置

re2212

.基本概要两台服务器配置MYSQL主从复制实现数据高可用，这时读与写操作都有由master服务器来完成的，而从服务器只是复制了mster服务器的数据，这时可以利用一台服务器配置Amoeba实现mysql读写分离， master负责写，slave负责读取，当然 也可以有多个salve…… 从而减轻master服务器的压力，实现负载分摊；

Mysql主从复制原理：

两台mysql服务器一个作为master一个为slave；master上开启二进制日志，将自己所有使数据库发生改变的操作语句记录到而二进制日志中，slave端会开启一个IO线程向master请求masert二进制日志中的事件，master通过binlogdump线程将二进制日志事件发送给slave，slave将接收到的二进制日志时间保存在中继日志（relaylog）中，然后使用sql 线程之行中继日志；从而保证数据与master相同；

aomeba原理：

aomeba是使用java开发的，所以要首先配置jdk；mysql端配置主从复制，master上的数据复制到slave上，slave主要负责读；aomeba作为一个sql路由调度器，client发来的sql如果是write则分发到write dbserver上，如果是read ，则分发到read dbserver；

2.环境的配置
（1）java环境的配置

Amoeba框架是基于Java SE1.5开发的，建议使用Java SE1.5以上的版本。

1.软件包为jdk-7u51-linux-x64.tar，直接解压就可以用了

2.解压软件包 tarzxf jdk-7u51-linux-x64.tar

3.配置环境java的环境变量 vim /root/.bash_profile 文件

添加配置如下：

exportJAVA_HOME=/usr/local/jdk1.7.0_51

exportCLASSPATH=$JAVA_HOME/lib:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

PATH=$JAVA_HOME/bin:$PATH:$HOME/bin

保存后配置文件生效

source.bash_profile

检查java版本 java  -version


3.安装amoeba软件
# mkdir  /usr/local/amoeba
# unzip  amoeba-mysql-3.0.5-RC-distribution.zip
# /bin/cp –rfamoeba-mysql-3.0.5-RC/* /usr/local/amoeba

4.配置amoeba for mysql
(1.)dbServers.xml   想象Amoeba作为数据库代理层，它一定会和很多数据库保持通信，因此它必须知道由它代理的数据库如何连接，比如最基础的：主机IP、端口、Amoeba使用的用户名和密码等等。这些信息存储在$AMOEBA_HOME/conf/dbServers.xml中。
(2.) rule.xmlAmoeba为了完成数据切分提供了完善的切分规则配置，为了了解如何分片数据、如何将数据库返回的数据整合，它必须知道切分规则。与切分规则相关的信息存储在$AMOEBA_HOME/conf/rule.xml中。
(3.) functionMap.xml当我们书写SQL来操作数据库的时候，常常会用到很多不同的数据库函数，比如：UNIX_TIMESTAMP()、SYSDATE()等等。这些函数如何被Amoeba解析呢？$AMOEBA_HOME/conf/functionMap.xml描述了函数名和函数处理的关系。
(4.)ruleFunctionMap.xml对$AMOEBA_HOME/conf/rule.xml进行配置时，会用到一些我们自己定义的函数，比如我们需要对用户ID求HASH值来切分数据，这些函数在$AMOEBA_HOME/conf/ruleFunctionMap.xml中定义。
(5.)access_list.confAmoeba可以制定一些可访问以及拒绝访问的主机IP地址，这
Amoebafor MySQL 读写分离配置(mysql主从复制配置见前面的博文)

部分配置在$AMOEBA_HOME/conf/access_list.conf中。
(6.)log4j.xml  Amoeba允许用户配置输出日志级别以及方式，配置方法使用log4j的文件格式，文件是$AMOEBA_HOME/conf/log4j.xml。其中，我们主要用到dbServer.xml 和amoeba.xml 。


配置：
<?xml version="1.0" encoding="gbk"?>

<!DOCTYPE amoeba:dbServers SYSTEM "dbserver.dtd">
<amoeba:dbServers xmlns:amoeba="http://amoeba.meidusa.com/">
         <dbServer name="abstractServer" abstractive="true">

<factoryConfig class="com.meidusa.amoeba.mysql.net.MysqlServerConnectionFactory">
<property name="connectionManager">${defaultManager}</property>
<property name="sendBufferSize">64</property>
<property name="receiveBufferSize">128</property>
<!-- mysql port -- > <! —代理连接数据库使用的端口号 -- >
<property name="port">3306</property>
<!-- mysql schema -- > <! —代理连接数据库 所使用的代理连接数据库 所使用的-- >
<property name="schema">zzx</property>
<!-- mysql user -- ><! —代理连接数据库使用的户名 -- >
<property name="user">zzxg</property>
<! —代理连接数据库使用的密码 代理连接数据库使用的密码 -- >
<property name="password">123456</property>
</factoryConfig>

<poolConfig class="com.meidusa.toolkit.common.poolable.PoolableObjectPool">
<property name="maxActive">500</property>
<property name="maxIdle">500</property>
<property name="minIdle">1</property>
<property name="minEvictableIdleTimeMillis">600000</property>
<property name="timeBetweenEvictionRunsMillis">600000</property>
<property name="testOnBorrow">true</property>
<property name="testOnReturn">true</property>
<property name="testWhileIdle">true</property>
</poolConfig>
</dbServer>
             <! --- 配置真实的数据库地址 配置真实的数据库地址 -- >
             <! --- 配置主从服务器及连接池 配置主从服务器及连接池 -- >
<dbServer name="server1"  parent="abstractServer">
<factoryConfig>
<!-- mysql ip -->
<property name="ipAddress">192.168.0.154</property>
</factoryConfig>
</dbServer>
<dbServer name="server2"  parent="abstractServer">
<factoryConfig>
<!-- mysql ip -->
<property name="ipAddress">192.168.0.153</property>
</factoryConfig>
</dbServer>
<dbServer name="multiPool" virtual="true">
<poolConfig class="com.meidusa.amoeba.server.MultipleServerPool">
<!-- Load balancing strategy: 1=ROUNDROBIN , 2=WEIGHTBASED , 3=HA-->
                        <!-- loadbalance：负载方式1：轮询2：加权重3：HA -->
<property name="loadbalance">1</property>
<!-- Separated by commas,such as: server1,server2,server1 -->
<property name="poolNames">server1,server2</property>
</poolConfig>
</dbServer>
</amoeba:dbServers>
5.amoeba.xml 配置：客户端连接Amoeba时所绑定的IP地址、端口、用户名和密码。及IP访问限制。



配置：
<?xml version="1.0" encoding="gbk"?>

<!DOCTYPE amoeba:configuration SYSTEM "amoeba.dtd">
<amoeba:configuration xmlns:amoeba="http://amoeba.meidusa.com/">

<proxy>
<!-- service class must implements com.meidusa.amoeba.service.Service -->
<service name="Amoeba for Mysql" class="com.meidusa.amoeba.mysql.server.MySQLService">
<!-- port -->
<property name="port">3306</property>
<!-- bind ipAddress -->
<!--
<property name="ipAddress">127.0.0.1</property>
-->
<property name="connectionFactory">
<bean class="com.meidusa.amoeba.mysql.net.MysqlClientConnectionFactory">
<property name="sendBufferSize">128</property>
<property name="receiveBufferSize">64</property>
</bean>
</property>
<property name="authenticateProvider">
<bean class="com.meidusa.amoeba.mysql.server.MysqlClientAuthenticator">
<property name="user">amoeba</property>
<property name="password">123456</property>
<property name="filter">
<bean class="com.meidusa.toolkit.net.authenticate.server.IPAccessController">
<property name="ipFile">${amoeba.home}/conf/access_list.conf</property>
</bean>
</property>
</bean>
</property>
</service>
<runtime class="com.meidusa.amoeba.mysql.context.MysqlRuntimeContext">
<!-- proxy server client process thread size -->
<property name="executeThreadSize">128</property>
<!-- per connection cache prepared statement size  -->
<property name="statementCacheSize">500</property>
<!-- default charset -->
<property name="serverCharset">utf8</property>
<!-- query timeout( default: 60 second , TimeUnit:second) -->
<property name="queryTimeout">60</property>
</runtime>
</proxy>
<!--
Each ConnectionManager will start as thread
manager responsible for the Connection IO read , Death Detection
-->
<connectionManagerList>
<connectionManager name="defaultManager" class="com.meidusa.toolkit.net.MultiConnectionManagerWrapper">
<property name="subManagerClassName">com.meidusa.toolkit.net.AuthingableConnectionManager</property>
</connectionManager>
</connectionManagerList>
<!-- default using file loader -->
<dbServerLoader class="com.meidusa.amoeba.context.DBServerConfigFileLoader">
<property name="configFile">${amoeba.home}/conf/dbServers.xml</property>
</dbServerLoader>
<queryRouter class="com.meidusa.amoeba.mysql.parser.MysqlQueryRouter">
<property name="ruleLoader">
<bean class="com.meidusa.amoeba.route.TableRuleFileLoader">
<property name="ruleFile">${amoeba.home}/conf/rule.xml</property>
<property name="functionFile">${amoeba.home}/conf/ruleFunctionMap.xml</property>
</bean>
</property>
<property name="sqlFunctionFile">${amoeba.home}/conf/functionMap.xml</property>
<property name="LRUMapSize">1500</property>
<property name="defaultPool">multiPool</property>
<!--
<property name="writePool">server1</property>
<property name="readPool">server2</property>
-->
<property name="needParse">true</property>
</queryRouter>
</amoeba:configuration>
通过以上简单配置，已经可以实现数据库的读写分离了。


6.测试启动

cd /usr/local/bin/
./launcher\\(也可通过nohup后台启动，或者自己写一个脚本来启动。)启动的Amoeba默认端口为3306在客户端连接Amoeba测试：
mysql  -uamoeba –p123456  -h192.168.0.126  --port 3006
mysql> showdatabases;
mysql> CREATEDATABASE zzx;  
\\创建数据库，之后在主从库分别查看通过Amoeba登录，进行数据的查询及插入更新等操作，并查看mysql-log日志，可发现所执行的INSERT 、UPDATE、DELETE等操作在主库server1上操作，SELECT查询语句在从库server2上执行。

用tcpdump抓包
Tcpdump –i eth0 –nn –X –vv tcp port 3306and ip host 192.168.0.153