Centos 6.8 下 Amoba 3.0 实现mysql 读写分离

4324234

什么是 Amoba ？

Amoeba(变形虫)项目,该开源框架于2008年 开始发布一款 Amoeba for Mysql软件。这个软件致力于MySQL的分布式数据库前端代理层，它主要在应用层访问MySQL的 时候充当SQL路由功能，专注于分布式数据库代理层（Database Proxy）开发。座落与 Client、DB Server(s)之间,对客户端透明。具有负载均衡、高可用性、SQL 过滤、读写分离、可路由相关的到目标数据库、可并发请求多台数据库合并结果。 通过Amoeba你能够完成多数据源的高可用、负载均衡、数据切片的功能，目前Amoeba已在很多 企业的生产线上面使用。

Amoeba在分布式数据库领域将致力解决数据切分，应付客户端“集中式”处理分布式数据。这里集中式是一个相对概念，客户端不需要知道某种数据的物理存储地。避免这种逻辑出现在业务端， 大大简化了客户端操作分布式数据的复杂程度。

分布式数据库系统的优点：

1、降低费用。分布式数据库在地理上可以式分布的。其系统的结构符合这种分布的要求。允许用户在自己的本地录用、查询、维护等操作，实行局部控制，降低通信代价，避免集中式需要更高要求 的硬件设备。而且分布式数据库在单台机器上面数据量较少，其响应速度明显提升。

2、提高系统整体可用性。避免了因为单台数据库的故障而造成全部瘫痪的后果。

3、易于扩展处理能力和系统规模。分布式数据库系统的结构可以很容易地扩展系统，在分布式数据库中增加一个新的节点，不影响现有系统的正常运行。这种方式比扩大集中式系统要灵活经济。在集中式系统中扩大系统和系统升级，由于有硬件不兼容和软件改变困难等缺点，升级的代价常常是昂贵和不可行的。

Amoeba for mysql

Amoeba for mysql 对客户端程序来说是什么呢？ 我们就当它是mysql吧，它是一个虚拟的mysql，对外提供mysql协议。客户端连接amoeba就象连接mysql一样。在amoeba内部需要配置相关的认证属性。

Amoeba for MySQL 与MySQL Proxy 比较

在MySQL proxy 6.0版本 上面如果想要读写分离并且 读集群、写集群 机器比较多情况下，用mysql proxy 需要相当大的工作量，目前mysql proxy没有现成的 lua脚本。mysql proxy根本没有配置文件， lua脚本就是它的全部，当然lua是相当方便的。那么同样这种东西需要编写大量的脚本才能完成一 个复杂的配置。而Amoeba for Mysql只需要进行相关的配置就可以满足需求。

Amoeba 不能做什么？

1、目前还不支持事务

2、暂时不支持存储过程（近期会支持）

3、不适合从amoeba导数据的场景或者对大数据量查询的query并不合适（比如一次请求返回10w以上甚至更多数据的场合）

4、暂时不支持分库分表，amoeba目前只做到分数据库实例，每个被切分的节点需要保持库表结构一致

Amoeba 3.0版本区别

1、采用更稳定的NIO框架

2、取消了很多不必要的同步锁，能够更好的利用高并发特性

3、代码结构更加合理，重构以后很多可重用的东西将提取出来作为公用类库，未来升级方便

4、配置有所改动（不兼容），由于重构，class所在的包名字将有所有变化，但是基本维持原来的配置结构不变，如果熟悉2.X，那么3.0上手非常容易

5、启动脚本有变化，3.x将 bin/launcher 作为启动脚本（启动以后直接可作为后台进程，不需要增加nohup等命令）， bin/shutdown作为关闭脚本

6、解决了last_insert_id问题

Amoeba 安装

1、Amoeba 配置环境

1 2 3 4

Master 192.168.200.140 centos 6.8 mysql-5.5.53 Slave 192.168.200.180 centos 6.8 mysql-5.5.53 Amoeba 192.168.200.210 centos 6.8 # Amoeba 192.168.200.210(可以使用master 代替)

服务器安装软件版本

1 2 3

Mysq 5.5.53 Amoeba 3.05 RC JDK 1.7.79

2、Mysql 主从复制安装这里就不描述了；详见mysql 主从复制简易配置指南

3、配置jdk 环境

由于Amoeba框架是基于Java SE1.5开发的，所以它需要在JDK 的环境下运行，

检查amoeba 服务器的 java 环境

1 2 3

[iyunv@bogon ~]# rpm -qa java  #查看是否安装java [iyunv@bogon ~]# java -version  #如果已经安装java，查看java 版本，必须在1.5 以上 [iyunv@bogon ~]# echo $JAVA_HOME 查看是否安装配置了JDK

如果你的机器上没有安装JDK环境，需要安装java

1	wget http://download.oracle.com/otn-p ... 79-linux-x64.tar.gz

解压JDK

1 2 3 4 5 6 7 8 9 10 11 12

tar -zvxf jdk-7u79-linux-x64.tar.gz mv jdk1.7.0_79/ /usr/local/jdk1.7/ 编辑环境变量文件 vim /etc/profile # 文件最后部分加入 export JAVA_HOME=/usr/local/jdk1.7  #jdk 安装目录 export PATH=$JAVA_HOME/bin:$PATH #java 家目录的路径 export PATH=$PATH:$HOME/bin:/usr/local/amoeba/bin #amoeba 的安装目录 export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar #java相应的工具目录 source /etc/profile

jdk 的官方下载站点。

4、Amoeba 安装

在Amoeba在SourceForge的主页下载Amoeba，。

1	[iyunv@bogon ~]# wget https://sourceforge.net/settings ... RC-distribution.zip

解压 amoeba

1	[iyunv@bogon ~]# unzip amoeba-mysql-3.0.5-RC-distribution.zip -d /application/amoeba

启动Amoeba

1	[iyunv@bogon ~]# /application/amoeba/launcher

关闭Amoeba

1	[iyunv@bogon ~]# /application/amoeba/shutdown

  启动时会出现如下错误：

1	<span style="font-family:'宋体';font-size:14px;">  The stack size specified is too small, Specify at least 228k<br>  Error: Could not create the Java Virtual Machine.<br>  Error: A fatal exception has occurred. Program will exit.<br>  从错误文字上看，应该是由于stack size太小，导致JVM启动失败，要<br></span>

  如何修改呢？
  其实Amoeba已经考虑到这个问题，并将JVM参数配置写在属性文件里。现在，让我们通过该属性文件修改JVM参数。
  修改jvm.properties文件JVM_OPTIONS参数。
=============================================================
  解决方法

1	<span style="font-family:'宋体';font-size:14px;">  vi /$AMOEBA_HOME/jvm.properties</span>

  更改成

1	<span style="font-family:'宋体';font-size:14px;">JVM_OPTIONS="-server -Xms1024m -Xmx1024m -Xss256k -XX:PermSize=16m -XX:MaxPermSize=96m"</span>

===============================================================

  Amoeba 3.0 版本以下解决办法：

  打开bin目录下 的amoeba启动文件，修改58行的Xss参数：

DEFAULT_OPTS=”-server -Xms1024m -Xmx1024m -Xss128k”
  修改为：

1	<span style="font-family:'宋体';font-size:14px;"> DEFAULT_OPTS=”-server -Xms1024m -Xmx1024m -Xss256k”</span>

===============================================================
  5、配置Amoeba

Amoeba有主要的配置文件

$AMOEBA_HOME/conf/dbServers.xml中配置主机信息，如主机ip，端口，amoeba 连接的用户名与密码等

$AMOEBA_HOME/conf/rule.xml中配置与切分规则相关的信息

$AMOEBA_HOME/conf/functionMap.xml描述了SQL函数名和函数处理的关系

$AMOEBA_HOME/conf/rule.xml 配置自己定义的函数

$AMOEBA_HOME/conf/ruleFunctionMap.xml中定义自定义函数名与函数处理的关系。

$AMOEBA_HOME/conf/access_list.conf中配置访问控制

$AMOEBA_HOME/conf/log4j.xml 配置输出日志级别和方式

  通过更改amoeba.xml和dbServer.xml 配置文件实现mysql主从读写分离,配置如下:

  amoeba.xml 配置如下：

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89

<?xml version="1.0" encoding="gbk"?> <!DOCTYPE amoeba:configuration SYSTEM "amoeba.dtd"> <amoeba:configuration xmlns:amoeba="http://amoeba.meidusa.com/">     <proxy>         <!-- service class must implements com.meidusa.amoeba.service.Service -->         <service name="Amoeba for Mysql" class="com.meidusa.amoeba.mysql.server.MySQLService">             <!-- proxy server port -->             <property name="port">8066</property> #proxy server 绑定的端口号             <!-- bind ipAddress -->             <property name="ipAddress">192.168.200.210</property> #proxy server 绑定的ip地址             <property name="connectionFactory">                 <bean class="com.meidusa.amoeba.mysql.net.MysqlClientConnectionFactory">                     <property name="sendBufferSize">128</property>                     <property name="receiveBufferSize">64</property>                 </bean>             </property>             <property name="authenticateProvider">                 <bean class="com.meidusa.amoeba.mysql.server.MysqlClientAuthenticator">                     <property name="user">root</property> #通过 proxy server 访问MySQL的用户名                     <property name="password">123</property>  #通过 proxy server 访问MySQL的密码                     <property name="filter">                         <bean class="com.meidusa.toolkit.net.authenticate.server.IPAccessController">                             <property name="ipFile">${amoeba.home}/conf/access_list.conf</property>                         </bean>                     </property>                 </bean>             </property>         </service>         <runtime class="com.meidusa.amoeba.mysql.context.MysqlRuntimeContext">             <!-- proxy server client process thread size -->             <property name="executeThreadSize">128</property>             <!-- per connection cache prepared statement size  -->             <property name="statementCacheSize">500</property>             <!-- default charset -->             <property name="serverCharset">utf8</property>             <!-- query timeout( default: 60 second , TimeUnit:second) -->             <property name="queryTimeout">60</property>         </runtime>     </proxy>     <!--         Each ConnectionManager will start as thread         manager responsible for the Connection IO read , Death Detection     -->     <connectionManagerList>         <connectionManager name="defaultManager" class="com.meidusa.toolkit.net.MultiConnectionManagerWrapper">             <property name="subManagerClassName">com.meidusa.toolkit.net.AuthingableConnectionManager</property>         </connectionManager>     </connectionManagerList>         <!-- default using file loader -->     <dbServerLoader class="com.meidusa.amoeba.context.DBServerConfigFileLoader">         <property name="configFile">${amoeba.home}/conf/dbServers.xml</property>     </dbServerLoader>     <queryRouter class="com.meidusa.amoeba.mysql.parser.MysqlQueryRouter">         <property name="ruleLoader">             <bean class="com.meidusa.amoeba.route.TableRuleFileLoader">                 <property name="ruleFile">${amoeba.home}/conf/rule.xml</property>                 <property name="functionFile">${amoeba.home}/conf/ruleFunctionMap.xml</property>             </bean>         </property>         <property name="sqlFunctionFile">${amoeba.home}/conf/functionMap.xml</property>         <property name="LRUMapSize">1500</property>         <property name="defaultPool">multiPool</property>         <!--<property name="writePool">server1</property>         <property name="readPool">multiPool</property>         -->         <property name="needParse">true</property>     </queryRouter> </amoeba:configuration>

  dbServer.xml 配置如下：

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67

<?xml version="1.0" encoding="gbk"?> <!DOCTYPE amoeba:dbServers SYSTEM "dbserver.dtd"> <amoeba:dbServers xmlns:amoeba="http://amoeba.meidusa.com/">         <!--             Each dbServer needs to be configured into a Pool,             If you need to configure multiple dbServer with load balancing that can be simplified by the following configuration:              add attribute with name virtual = "true" in dbServer, but the configuration does not allow the element with name factoryConfig              such as 'multiPool' dbServer            -->     <dbServer name="abstractServer" abstractive="true">         <factoryConfig class="com.meidusa.amoeba.mysql.net.MysqlServerConnectionFactory">             <property name="connectionManager">${defaultManager}</property>             <property name="sendBufferSize">64</property>             <property name="receiveBufferSize">128</property>             <!-- mysql port -->             <property name="port">3306</property>             <!-- mysql schema -->             <property name="schema">test</property>             <!-- mysql user -->             <property name="user">amoeba</property>             <property name="password">think</property>         </factoryConfig>         <poolConfig class="com.meidusa.toolkit.common.poolable.PoolableObjectPool">             <property name="maxActive">500</property>             <property name="maxIdle">500</property>             <property name="minIdle">1</property>             <property name="minEvictableIdleTimeMillis">600000</property>             <property name="timeBetweenEvictionRunsMillis">600000</property>             <property name="testOnBorrow">true</property>             <property name="testOnReturn">true</property>             <property name="testWhileIdle">true</property>         </poolConfig>     </dbServer>     <dbServer name="server1"  parent="abstractServer">         <factoryConfig>             <!-- mysql ip -->             <property name="ipAddress">192.168.200.140</property>         </factoryConfig>     </dbServer>     <dbServer name="server2"  parent="abstractServer">         <factoryConfig>             <!-- mysql ip -->             <property name="ipAddress">192.168.200.180</property>         </factoryConfig>     </dbServer>     <dbServer name="multiPool" virtual="true">         <poolConfig class="com.meidusa.amoeba.server.MultipleServerPool">             <!-- Load balancing strategy: 1=ROUNDROBIN , 2=WEIGHTBASED , 3=HA-->             <property name="loadbalance">1</property>             <!-- Separated by commas,such as: server1,server2,server1 -->             <property name="poolNames">server1,server2</property>         </poolConfig>     </dbServer> </amoeba:dbServers>

1	[iyunv@bogon ~]# /application/amoeba/bin/launcher &    //启动amoeba服务

1 2 3 4 5 6 7 8 9 10

#检查启动状态 [iyunv@bogon ~]# ps -aux|grep amoeba Warning: bad syntax, perhaps a bogus '-'? See /usr/share/doc/procps-3.2.8/FAQ root       3915  0.0  0.1 106072  1392 pts/6    S+   03:22   0:00 /bin/bash /application/amoeba/bin/launcher root       3920  1.2  8.3 1883360 83648 pts/6   Sl+  03:22   0:03 /usr/local/jdk1.7/bin/java -server -Xms256m -Xmx1024m -Xss256k -XX:PermSize=16m -XX:MaxPermSize=96m -Dproject.home=/application/amoeba -Damoeba.home=/application/amoeba -Dproject.name=Amoeba-MySQL -Dproject.output=/application/amoeba/logs -Dignore.signals=1,2 -Dclassworlds.conf=/application/amoeba/bin/launcher.classpath -classpath /application/amoeba/lib/plexus-classworlds-2.4.2-HEXNOVA.jar org.codehaus.classworlds.Launcher root       3921  0.0  0.0 100952   656 pts/6    S+   03:22   0:00 tail -f /application/amoeba/logs/console.log [iyunv@bogon ~]# netstat -lntpu|grep 8066 tcp        0      0 ::ffff:192.168.200.210:8066 :::*                 LISTEN      3920/java 看到进程以及端口说明amoeba服务启动正常

  6、测试mysql的读写分离

  测试之前先要保证amoeba-server有访问两个主从服务器test库的权限,在主从mysql上都执行：

1 2	mysql>  grant all on test.* to amoeba@'192.168.200.%' identified by 'think'; mysql>  flush privileges;

  登录amoeba服务器使用如下命令（用户名密码和上面配置的要一致）:

1	mysql -uroot -p123 -h192.168.200.210  -P8066

  如果可以登陆并且没有任何错误就说明是OK的。登录上去后,为了测试读和写必须先把mysql的主从复制停掉,才能更清楚地看出读写的服务器是哪台,在从上使用stop slave;登录到amoeba-mysql上,使用命令mysql -uroot -p123-h192.168.200.210  -P8066,然后执行写和读操作,查看写的是哪台服务器,读的是哪台服务器,实验结果显示:写只在主上进行,读在主和从都进行,比率是1:1

  在没有停止同步之前先在master服务器上创建一个表

1	mysql>  create table amoeba (id int(10) ,name varchar(10));

   然后在slave服务器上停止数据同步

1	mysql> stop slave;

   在主从上各插入一条不同数据（供测试读的时候用）:

   在master上插入：

1	mysql> insert into sxit values('1','amoeba1');

   在slave上插入：

1	mysql> insert into sxit values('2','amoeba2');

   登陆到amoeba服务器,进行读写分离的测试:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39

[iyunv@bogon ~]# mysql -u root -p123 -h192.168.200.210 -P8066 mysql> use test; mysql> select * from amoeba; #第一次执行select是在master服务器上查询的 +------+----------+ | id   | name    | +------+----------+ |    1 | amoeba1 | +------+----------+ 1 rows in set (0.00 sec) mysql> select * from amoeba; #第二次执行select是在slave服务器上查询的 +------+----------+ | id   | name     | +------+----------+ |    2 | amoeba2  | +------+----------+ 1 rows in set (0.00 sec) mysql> insert into amoeba values('3','amoeba3'); #插入一条数据,然后在select Query OK, 1 row affected (0.05 sec) mysql> select * from amoeba; #可以看到上面新插入的语句在master上了 +------+----------+ | id   | name   | +------+----------+ |    1 | amoeba1 | |    3 | amoeba3 | +------+----------+ 2 rows in set (0.00 sec) mysql> select * from sxit; #slave服务器上是没有这条新的语句的, +------+------+ | id   | name | +------+------+ |    2 | lisi | +------+------+ 1 row in set (0.00 sec)