设为首页 收藏本站
查看: 1265|回复: 0

[经验分享] mysql+mysql_proxy+haproxy+memcache (mysql的读写分离)

[复制链接]

尚未签到

发表于 2018-9-27 08:55:06 | 显示全部楼层 |阅读模式
  参考:
  http://www.cnblogs.com/xxcn/p/4385412.html
  http://blog.jobbole.com/94606/
  http://www.open-open.com/lib/view/open1413274853450.html
  原理:略(下次再写)图片来自:http://www.open-open.com/lib/view/open1413274853450.html
DSC0000.jpg

  架构:
  master: 192.168.2.127
  slave: 192.168.2.201 192.168.2.202
  mysql proxy: 192.168.2.138
  haproxy:192.168.2.138
  事先准备:
  主从必须安装好mysql、关闭selinux,配置好防火墙(很重要,因为从服务器被挡导致读写分离不成功,我排查了4个小时..),主从服务器之间的数据库主从复制前要事先同步或完全一致,本文都以尽可能简单的配置来。
  主从复制搭建:
  master:
  修改my.cnf为:
[mysqld]  datadir=/var/lib/mysql
  socket=/var/lib/mysql/mysql.sock
  user=mysql
  # Disabling symbolic-links is recommended to prevent assorted security risks
  symbolic-links=0
  server-id=127#id必须唯一,用来识别主机身份,可任意取
  log-bin=mysql-bin#二进制日志必须开,从服务器会拷贝这些文件到自身变为中继日志,然后根据日志内容更新从服务器自身数据库
  [mysqld_safe]
  log-error=/var/log/mysqld.log
  pid-file=/var/run/mysqld/mysqld.pid
  slave:
  修改my.cnf为:
        [mysqld]  datadir=/var/lib/mysql
  socket=/var/lib/mysql/mysql.sock
  user=mysql
  # Disabling symbolic-links is recommended to prevent assorted security risks
  symbolic-links=0
  server-id=202#从服务器不需要开二进制日志,因为它从主服务器拷贝,当然我们这里假设我们是对所有库进行读写分离,如果仅对某些库,还是有必要看情况开的
  [mysqld_safe]
  log-error=/var/log/mysqld.log
  pid-file=/var/run/mysqld/mysqld.pid
  master:
  在主服务器上授权一个用户远程访问,给予replication和slave权限

  grant replication slave on *.* to slave@'%'>  查看master 状态并记录日志名(file)和位移值(position)
  mysql> show master status ;
  +------------------+----------+--------------+------------------+
  | File             | Position | Binlog_Do_DB | Binlog_Ignore_DB |
  +------------------+----------+--------------+------------------+
  | mysql-bin.000011 |      106 |              |                  |
  +------------------+----------+--------------+------------------+
  slave:
  配置从服务器并开启
  change master to \
  master_host='192.168.2.127\
  master_user='slave'\
  master_password='123456'\
  master_log_file='mysql-bin.000011'#对应master的binlog file
  master_log_pos=106;#对应master的position
  start slave
  show slave status \G 如果以下两个参数为yes就表明没有问题
  Slave_IO_Running: Yes
  Slave_SQL_Running: Yes
  测试:
  过程就不写了,在主服务上创建删除数据看看从会不会同步即可
  例子:
  创建库:
  create database mydb;
  创建表:
  use mydb;

  create table users (>  插入数据:
  insert into  mydb.users(username) values("xizixiaoxiao");
  删除数据:
  delete from mydb.users where username='xizixiaoxiao';
  读写分离:
  wget http://101.96.10.43/downloads.mysql.com/archives/get/file/mysql-proxy-0.8.5-linux-el6-x86-64bit.tar.gz
  tar xf mysql-proxy-0.8.5-linux-el6-x86-64bit.tar.gz
  mv mysql-proxy-0.8.5-linux-el6-x86-64bit /usr/local/mysql-proxy
  cd /usr/local/mysql-proxy
  mkdir lua
  cp  share/doc/mysql-proxy/rw-splitting.lua  lua
  cp  share/doc/mysql-proxy/admin-sql.lua    lua
  vi /etc/mysql-proxy.conf
[mysql-proxy]  user=root#运行用户
  admin-username=admin#proxy管理用户
  admin-password=123456#proxy管理用户密码
  admin-address=192.168.2.127:4001#proxy 管理服务监听套接字,这个是用来管理proxy服务本身的,而proxy管理mysql的读写分离
  proxy-address=192.168.2.127:4000#proxy 自身服务套接字,默认4040端口
  proxy-read-only-backend-addresses=192.168.2.201:3306,192.168.2.202:3306 #只读从
  proxy-backend-addresses=192.168.2.127:3306#读写主
  proxy-lua-script=/usr/local/mysql-proxy/lua/rw-splitting.lua#读写分离lua脚本
  admin-lua-script=/usr/local/mysql-proxy/lua/admin-sql.lua#管理脚本
  log-file=/var/log/mysql-proxy.log
  log-level=debug
  daemon=true
  keepalive=true#进程意外挂掉后尝试重启
  vi /usr/local/mysql-proxy/lua/rw-splitting.lua
if not proxy.global.config.rwsplit then  
        proxy.global.config.rwsplit = {
  
                min_idle_connections = 1,#最小链接数,只有连接数大于这个数才会进行读写分离,默认4
  
                max_idle_connections = 1,#最大连接数,默认8,改为1
  

  
                is_debug = false
  
        }
  
end
  /usr/local/mysql-proxy/bin/mysql-proxy --defaults-file=/etc/mysql-proxy.cnf --plugins=proxy --plugins=admin#启动proxy
  测试:
  mysql -uproxy -p12346 -h192.168.2.138  -P 4000 -e 'select * from mydb.users';
  然后可以关闭从服务器(在从服务器上: stop slave),在主服务器上更新数据库内容,会发现上面显示内容不变,此时如果再开启主从同步,上面的命令的显示就会更新,此时读写分离就成功。
  需要说明的是,如果从服务器全挂掉,那么会在主服务器上查询,而如果主服务挂掉,理论上要能查询不能写,但是这里会报ERROR 1105 (HY000): (proxy) all backends are down错误,从而全部不能写,这应该是proxy的问题。
  haproxy安装(在192.168.2.138上):
  wget  http://down1.chinaunix.net/distfiles/haproxy-1.4.21.tar.gz #官网最近下不了,随便拿个凑合了
  tar xf haproxy-1.4.21.tar.gz
  cd haproxy-1.4.21
  make TARGET=linux26#haproxy不支持make直接编译,TARGET可以在README中找到相应信息
  make install
  编辑haproxy的配置文件
  cd /usr/local/haproxy/#这个是因为我在编译时,修改Makefile里面的安装目录为这个,默认/usr/local/haproxy/
  mkdir etc;cd etc
  vi haproxy.conf
  内容如下:(具体参数意义参考:http://www.cnblogs.com/dkblog/archive/2012/03/13/2393321.html或官网文档)
defaults  log  global
  mode http
  retries 3
  option redispatch
  maxconn 4096
  timeout connect 50000
  timeout client50000
  timeoutserver50000
  

  
listenmysql_proxy 0.0.0.0:3308#前端的监听端口
  mode tcp
  balance roundrobin#
  optiontcpka
  optionhttpchk
  serverslave1192.168.2.201:3306 weight 1#后端服务器,weight表示权重,可以根据balance选项替换算法
  serverslave2192.168.2.202:3306 weight 1
  

  
listen status 192.168.2.138:8080#定义web,可以通过http://192.168.2.138:8080/stats查看haproxy状态,你没看错是stats而不是status
  
    stats enable
  
    stats uri /stats
  
    stats auth admin:123456
  
    stats realm (Haproxy\ statistic)
  自定义haproxy的启动脚本:
  vi /etc/init.d/haproxy
#!/bin/bash  
#
  
# haproxy
  
#
  
# chkconfig: 35 85 15
  
# description: HAProxy is a free, very fast and reliable solution \
  
# offering high availability, load balancing, and \
  
# proxying for TCP and HTTP-based applications
  
# processname: haproxy
  
# config: /etc/haproxy.cfg
  
# pidfile: /var/run/haproxy.pid
  

  
# Source function library.
  
. /etc/rc.d/init.d/functions
  

  
# Source networking configuration.
  
. /etc/sysconfig/network
  

  
# Check that networking is up.
  
[ "$NETWORKING" = "no" ] && exit 0
  

  
config="/usr/local/haproxy/etc/haproxy.conf"#配置文件位置
  
exec="/usr/local/haproxy/sbin/haproxy"#二进制可执行文件位置
  
prog=$(basename $exec)
  

  
[ -e /etc/sysconfig/$prog ] && . /etc/sysconfig/$prog
  

  
lockfile=/var/lock/subsys/haproxy
  

  
check() {
  
    $exec -c -V -f $config
  
}
  

  
start() {
  
    $exec -c -q -f $config
  
    if [ $? -ne 0 ]; then
  
        echo "Errors in configuration file, check with $prog check."
  
        return 1
  
    fi
  

  
    echo -n $"Starting $prog: "
  
    # start it up here, usually something like "daemon $exec"
  
    daemon $exec -D -f $config -p /var/run/$prog.pid
  
    retval=$?
  
    echo
  
    [ $retval -eq 0 ] && touch $lockfile
  
    return $retval
  
}
  

  
stop() {
  
    echo -n $"Stopping $prog: "
  
    # stop it here, often "killproc $prog"
  
    killproc $prog
  
    retval=$?
  
    echo
  
    [ $retval -eq 0 ] && rm -f $lockfile
  
    return $retval
  
}
  

  
restart() {
  
    $exec -c -q -f $config
  
    if [ $? -ne 0 ]; then
  
        echo "Errors in configuration file, check with $prog check."
  
        return 1
  
    fi
  
    stop
  
    start
  
}
  

  
reload() {
  
    $exec -c -q -f $config
  
    if [ $? -ne 0 ]; then
  
        echo "Errors in configuration file, check with $prog check."
  
        return 1
  
    fi
  
    echo -n $"Reloading $prog: "
  
    $exec -D -f $config -p /var/run/$prog.pid -sf $(cat /var/run/$prog.pid)
  
    retval=$?
  
    echo
  
    return $retval
  
}
  

  
force_reload() {
  
    restart
  
}
  

  
fdr_status() {
  
    status $prog
  
}
  

  
case "$1" in
  
    start|stop|restart|reload)
  
        $1
  
        ;;
  
    force-reload)
  
        force_reload
  
        ;;
  
    checkconfig)
  
        check
  
        ;;
  
    status)
  
        fdr_status
  
        ;;
  
    condrestart|try-restart)
  
      [ ! -f $lockfile ] || restart
  
    ;;
  
    *)
  
        echo $"Usage: $0 {start|stop|status|checkconfig|restart|try-restart|reload|force-reload}"
  
        exit 2
  
esac
  启动:/etc/init.d/haproxy start
  netstat -tnlp|grep haproxy 会看到两个服务:
  [root@cqhdtest2 etc]# netstat -tnlp|grep haproxy
  tcp        0      0 0.0.0.0:3308                0.0.0.0:*                   LISTEN      1914/haproxy
  tcp        0      0 192.168.2.138:8080          0.0.0.0:*                   LISTEN      1914/haproxy
  修改mysql_proxy的配置,把proxy-read-only-backend-addresses改为192.168.2.138:3308
  killall mysql-proxy #因为我们设置了keepalive,所以’kill -9 进程id‘的方式它不会终止,而是自己又生成另外一个进程
  内容如下:
[mysql-proxy]  
user=root
  
admin-username=admin
  
admin-password=123456
  
admin-address=192.168.2.138:4001
  
proxy-address=192.168.2.138:4000
  
proxy-read-only-backend-addresses=192.168.2.138:3308
  
proxy-backend-addresses=192.168.2.127:3306
  
proxy-lua-script=/usr/local/mysql-proxy/lua/rw-splitting.lua
  
admin-lua-script=/usr/local/mysql-proxy/lua/admin-sql.lua
  
log-file=/var/log/mysql-proxy.log
  
log-level=debug
  
daemon=true
  
keepalive=true
  启动mysql_proxy:/usr/local/mysql-proxy/bin/mysql-proxy --defaults-file=/etc/mysql-proxy.cnf --plugins=proxy --plugins=admin
  测试:
  可以把slave1 关掉主从,slave2开启主从,主服务修改一个数据,然后通过mysql -uproxy -p -h 192.168.2.138 -P4000 不断地 select * from mydb.users ; 会发现每次值都不一样,如此便是成功的
  具体测试,略
  memcache安装配置:(参考:http://www.cnblogs.com/xxcn/p/4385412.html,这里我使用的是官网提供的安装方法)
  wget http://memcached.org/latest
  tar xf latest#你没有看错,它的安装包就是lastest
  cd  memcached-1.4.33/ #我解压后是这个版本
  ./configure --prefix=/usr/local/memcache#编译报错的话查看libevent是否没装
  make
  make test#测试是否有问题
  make install
  启动:/usr/local/memcache/bin/memcached  -d -m 20 -uroot -l 192.168.2.138 -p 2211
  -d:以daemon方式运行
  -m:指定内存大小
  -u:以什么用户身份运行
  -l:listen 监听的地址
  -p:监听的端口
  -h:帮助
  -P:保存pid的位置



运维网声明 1、欢迎大家加入本站运维交流群:群②:261659950 群⑤:202807635 群⑦870801961 群⑧679858003
2、本站所有主题由该帖子作者发表,该帖子作者与运维网享有帖子相关版权
3、所有作品的著作权均归原作者享有,请您和我们一样尊重他人的著作权等合法权益。如果您对作品感到满意,请购买正版
4、禁止制作、复制、发布和传播具有反动、淫秽、色情、暴力、凶杀等内容的信息,一经发现立即删除。若您因此触犯法律,一切后果自负,我们对此不承担任何责任
5、所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其内容的准确性、可靠性、正当性、安全性、合法性等负责,亦不承担任何法律责任
6、所有作品仅供您个人学习、研究或欣赏,不得用于商业或者其他用途,否则,一切后果均由您自己承担,我们对此不承担任何法律责任
7、如涉及侵犯版权等问题,请您及时通知我们,我们将立即采取措施予以解决
8、联系人Email:admin@iyunv.com 网址:www.yunweiku.com

所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其承担任何法律责任,如涉及侵犯版权等问题,请您及时通知我们,我们将立即处理,联系人Email:kefu@iyunv.com,QQ:1061981298 本贴地址:https://www.yunweiku.com/thread-602584-1-1.html 上篇帖子: 浅谈 MySQL 下篇帖子: 24-PHP+MySQL分页技术详解
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

扫码加入运维网微信交流群X

扫码加入运维网微信交流群

扫描二维码加入运维网微信交流群,最新一手资源尽在官方微信交流群!快快加入我们吧...

扫描微信二维码查看详情

客服E-mail:kefu@iyunv.com 客服QQ:1061981298


QQ群⑦:运维网交流群⑦ QQ群⑧:运维网交流群⑧ k8s群:运维网kubernetes交流群


提醒:禁止发布任何违反国家法律、法规的言论与图片等内容;本站内容均来自个人观点与网络等信息,非本站认同之观点.


本站大部分资源是网友从网上搜集分享而来,其版权均归原作者及其网站所有,我们尊重他人的合法权益,如有内容侵犯您的合法权益,请及时与我们联系进行核实删除!



合作伙伴: 青云cloud

快速回复 返回顶部 返回列表