otter配置详解

cjcmay

　　说明 ： 为了 mysql 中国、美国、欧洲数据库实时同步
　　文档和地址




项目源码     https://github.com/alibaba/otter
发布的版本  https://github.com/alibaba/otter/releases
文档 https://github.com/alibaba/otter/wiki/Faq
说明
mysql 可以单独为一个服务器上
node  节点也可单独在一个服务器上
zookeeper 也可单独在一个服务器上
manager  也可单独在一个服务器上
启动顺序
　　1 ) mysql
　　2 ) zookeeper
　　3 ) manager　　
　　　　　　otter.properties 中 otter.zookeeper.cluster.default
　　　　　　配置zookeeper集群 离manager最近的一个 zookeeper server地址：port
　　4 ) node
例子部署图
　　　　
　　配置前准备阶段
　　1. ) JDK必须 1.6以上版本.
　　　　Linux 下载 rpm 包  执行 rpm -ivh 包名.rpm
　　　　Ubuntu 下载 tar.gz  执行压缩 tar -zxvf 包名.tar.gz
　　　　　　　　Ubuntu 需配置环境变量
　　　　　　　　



sudo gedit ~/.profile
在文件末尾加上
export JAVA_HOME=jdk文件路径
export JRE_HOME=jdk文件路径/jre
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$PATH
source ~/.profile
//查看java版本
java -version
　　2. ) 安装mysql 5.1 > 以上版本.　　
　　注意：mysql 5.6 安装后 密码初始随机 在 root/ .mysql_secret 文件里　　　　　



查看隐藏文件 ll –a

my.cnf文件在 /usr/my.cnf目录了, 不在 /etc/my.cnf

配置文件参考如下

　　[mysqld]
　　datadir=/var/lib/mysql
　　socket=/var/lib/mysql/mysql.sock
　　symbolic-links=0
　　##最大连接数
　　max_connections=1000
　　##服务器字符编码
　　character_set_server=utf8
　　##开启log-bin row
　　log-bin=mysql-bin
　　binlog_format='row'
　　##日志默认保存3天
　　expire_logs_days=3
　　##必须配置，每个数据库配置的值不一样
　　server-id=1
　　[mysqld_safe]
　　log-error=/var/log/mysqld.log
　　pid-file=/var/run/mysqld/mysqld.pid
　　3. ) 源数据库已开启binlog，并且binlog_format为ROW.



mysql> show variables like '%binlog_format%';
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| binlog_format | ROW   |
+---------------+-------+
　　安装aria2   （在 node 节点服务器上安装）
　　下载地址  http://sourceforge.net/projects/aria2/files/stable/



需要g++  如没有需要安装
yum install gcc-c++ libstdc++-devel
下载aria2 并解压 之后编译 配置环境 例子如下
mkdir /usr/local/aria2
./configure  --prefix=/usr/local/aria2
make && make install
vi /etc/profile
PATH=$PATH:/usr/local/aria2/bin
source /etc/profile

测试是否安装成功
aria2c 命令
　　安装zookeeper 并启动



参考地址  http://zookeeper.apache.org/doc/trunk/zookeeperStarted.html#sc_RunningReplicatedZooKeeper
　　　   http://blog.csdn.net/shirdrn/article/details/7183503#主机名称到IP地址映射配置
　　192.168.0.179 slave-01
　　192.168.0.178   slave-02
　　192.168.0.177   slave-03


配置zookeeper conf文件
cp zoo_sample.cfg  zoo.cfg
vi zoo.cfg

修改

　　tickTime=2000
  dataDir=/home/otter/zookeeper/data
  clientPort=2181
  initLimit=5
  syncLimit=2
  server.1=slave-01:2888:3888
  server.2=slave-02:2888:3888
  server.3=slave-03:2888:3888

里面的目录没有 需要自行创建 不然无法启动
启动之前还要配置 host文件  
vi /etc/hosts

　　192.168.0.179 slave-01
  192.168.0.178   slave-02
  192.168.0.177   slave-03

启动 zookeeper server
./zkServer.sh start

　　zookeeper manager里面查看zookeper需要 nc 如果没有 需要安装(不安装也不影响同步)

yum install nc
(另：配置集群观察者模式  在 zoo.cfg 文件中做如下修改  
    在需要观察者模式的zookeeper server上
　　 配置如下
　　 tickTime=2000
    dataDir=/home/otter/zookeeper/data
    clientPort=2181
    initLimit=5
    syncLimit=2
    peerType=observer
    server.1=slave-01:2888:3888:observer
    server.2=slave-02:2888:3888
    server.3=slave-03:2888:3888
    ##在 slave-01上配置文件如上，slave-01即是观察者模式 不参与选举
)
　　解压manager 并启动



conf/目录下 otter.properties
## otter manager domain name
otter.domainName = 192.168.0.100    -- web管理ip和node节点配置的
## otter manager http port
otter.port = 8080
## jetty web config xml
otter.jetty = jetty.xml
## otter manager database config
otter.database.driver.class.name = com.mysql.jdbc.Driver
otter.database.driver.url = jdbc:mysql://localhost:3306/otter
otter.database.driver.username = root
otter.database.driver.password =
## otter communication port
otter.communication.manager.port = 1099
## otter communication pool size
otter.communication.pool.size = 10
## default zookeeper address
otter.zookeeper.cluster.default = 192.168.0.179:2181 ##如果有多个逗号分开，一个集群只需要写离manager最近的一个即可
## default zookeeper sesstion timeout = 60s
otter.zookeeper.sessionTimeout = 60000
## otter arbitrate connect manager config
otter.manager.address = ${otter.domainName}:${otter.communication.manager.port}
## should run in product mode , true/false
otter.manager.productionMode = true
## self-monitor enable or disable
otter.manager.monitor.self.enable = true
## self-montir interval , default 120s
otter.manager.monitor.self.interval = 120
## auto-recovery paused enable or disable
otter.manager.monitor.recovery.paused = true
# manager email user config
otter.manager.monitor.email.host = smtp.gmail.com
otter.manager.monitor.email.username =
otter.manager.monitor.email.password =
otter.manager.monitor.email.stmp.port = 465
　　解压node 并启动
　　 先进入manager中 按如下操作
　　　　机器管理 （菜单）-->> zookeeper管理（选项）（按照提示添加部署好的zookeeper集群）
　　　　图如下
　　
　　　　机器管理  （菜单） -->> Node管理 （选项）（安装提示添加node节点，）
　　　　图如下
　　　　
　　　　机器端口 2088
　　　　添加成功后 会产生一个 序号 （> 0 整数）
　　　　将此序号写入 node conf目录中
　　　　



echo 序号 > node/conf
　　修改配置文件 conf/otter.properties



# otter node root dir
otter.nodeHome = ${user.dir}/../
## otter node dir
otter.htdocs.dir = ${otter.nodeHome}/htdocs
otter.download.dir = ${otter.nodeHome}/download
otter.extend.dir= ${otter.nodeHome}/extend
## default zookeeper sesstion timeout = 60s
otter.zookeeper.sessionTimeout = 60000
## otter communication pool size
otter.communication.pool.size = 10
## otter arbitrate & node connect manager config
## manager管理地址 ： port
otter.manager.address = 192.168.0.100:1099

　　启动 node 节点
　　　　



./node/bin/startup.sh
　　启动成功后能够在manager管理里面看到 添加的node节点 状态 为 “已启动”
　　　　
　　　　接下来在manager里
　　　　　　1.）配置管理菜单中 依次配置 数据源 、数据表 、canal
　　　　　　2.）在同步管理菜单中添加 channel  （是否开启数据一致性：开启）
　　　　　　 　　（注意：参数尽量选择默认）
　　　　　　3.）添加 pipeline （一个channel 只能添加两个 pipeline ，
　　　　　　　　　　　　两个为双向同步，如果要用DDL同步，一个pipeline开启ddl同步，
　　　　　　　　　　　　另一个不要开启，且都要开启跳过ddl异常，DryRun模式 不要开启）
　　　　　　4.）配置 表映射
　　　　　　5.）在channel管理中开启 channel 同步即可