利用GoldenGate实现Oracle实时同步方案

loing

简介：

OracleGolden Gate软件是一种基于日志的结构化数据复制备份软件，它通过解析源数据库在线日志或归档日志获得数据的增量变化，再将这些变化应用到目标数据库，从而实现源数据库与目标数据库同步。OracleGolden Gate可以在异构的IT基础结构（包括几乎所有常用操作系统平台和数据库平台）之间实现大量数据亚秒一级的实时复制,从而在可以在应急系统、在线报表、实时数据仓库供应、交易跟踪、数据同步、集中/分发、容灾、数据库升级和移植、双业务中心等多个场景下应用。同时，Oracle GoldenGate可以实现一对一、广播(一对多)、聚合(多对一)、双向、点对点、级联等多种灵活的拓扑结构。GoldenGate从源到目标数据是经过压缩加密传输，所以该方案是比较安全且对网络带宽要求不高；GoldenGate可以支持几乎所有常用操作系统和数据库平台，可扩展性非常好。

Oracle GoldenGate（下文简称ogg）软件也可以通过ORACLE官方网站进行下载，根据ORACLE的版本及操作系统来下载对应版本的ogg，官方下载地址：

http://www.oracle.com/technetwork/middleware/goldengate/downloads/index.html

一. 环境准备

◆准备两台机器，分别为SourceDB, TargetDB，通过TCP/IP网络进行互连

SourceDB ：Windows2008 R2企业版，Oracle 11G R2  10.6.1.58

TargetDB ：Windows2008 R2企业版，Oracle 11G R2  10.6.1.59

◆必须保证SourceDB是运行在归档模式下。

◆目的 ：将SourceDB中相关Schema中的数据同步复制到TargetDB相对应的Sechema中

本文中要同步的是SouceDB中的IRP用户到Target中的IRP用户下

◆首先要保持SourceD, TargetDB相关Schema中的初始数据一致，可以通过Expdp/impdb,Exp/Imp,Rman,冷备等方式实现.

◆双方DB建立GoldenGate用户，赋予DBA权限，用于GoldenGate连接DB.

◆双方DB安装GoldenGate.

本文档中ogg指的就是GoldenGate

为了能让ogg成功的将源数据库及目标数据库进行同步，下面还需要对ogg及oracle进行一系列配置（ogg支持多种复制方式，比如单项复制、双向复制等等，因实际需要，本文仅介绍单向复制相关配置）。

首先说说ogg的一些概念：

1、 Manager：ogg所有服务必须依赖Manager，Manger如同ogg的总调度。

2、  Extract ：ogg用来获取源数据库数据更新的，将变更的数据发送到目标数据库

3、 Replicat ：ogg用来接收源数据库的更新，一旦源数据库Extract将数据发送过来后，Replicat会自动将更新脚本同步到目标数据库。

二. 配置过程
2.1GoldenGate的安装.

GoldenGate安装非常简单，但需在源数据库和目标数据库服务器上均安装。该软件可以从oracle官网上下载，解压安装包，路径为D:\tool\ogg

安装步骤如下:

1.       进入命令行, 切换到ogg目录下

2.      输入命令install addservice addevents （安装成服务）

3.       输入ggsci进入GoldenGate管理控制台。输入 create subdirs

4.       手工在ogg目录下创建discard文件夹。

5.       在oracle中创建GoldenGate专属帐号（此处我直接用IRP用户）

Sqlplus /nolog

SQL> conn / as sysdba

SQL> create user IRP identified by IRP;  

SQL> grant connect,resource to IRP;

SQL> grant unlimited tablespace to IRP;

SQL> grant execute on utl_file to IRP;

或者直接赋DBA权限

SQL> grant dba to IRP;

6.       新创建的ogg用户执行配置脚本

在ogg的安装目录下登陆sqlplus，使用sys登陆sqlplus，然后执行如下配置。

Sqlplus /nolog

SQL> conn / as sysdba

SQL> @marker_setup.sql

SQL> @ddl_setup.sql;

SQL> @role_setup.sql;

SQL> grant GGS_GGSUSER_ROLE to IRP;

SQL> @ddl_enable.sql;

7.       进入ogg控制台，测试用户是否创建成功

GGSCI (local) 1>dblogin userid IRP

Password: IRP

Successfully loggedinto database.

OK，GoldenGate安装就已经完成了。

2.2 源服务器配置

1、开启ORACLE归档模式，设置日志模式

sqlplus /nolog

SQL> conn / as sysdba

SQL> shutdown immediate;

SQL> startup mount;

SQL> alter database archivelog;

SQL> alter database force logging;

SQL> alter database add supplemental log data;

SQL> alter database open;

2、 回收站功能会影响同步，需要关闭回收站

SQL>alter session set recyclebin=off;

SQL>alter system set recyclebin=off DEFERRED; （注意10g和11g此处不太一样）

3、登陆ogg控制台，设置需要进行同步的oracle表

GGSCI (local) 1> dblogin userid IRP

GGSCI (local) 1> add trandata IRP.*

5、配置oggmanager&启动manager（配置界面操作类似vi）

GGSCI (local) 1> edit param mgr

PORT 7809

GGSCI (local) 1> info all(查看当前mgr状态)

GGSCI (local) 1> start manager(启动manager，启动完后可以用info all再次查看状态)

6、 添加一个ogg extract进程，用于抽取源服务器数据

GGSCI (local) 1> add extract ext1,tranlog,begin now (增加一个抽取进程ext1，ext1名字可以根据需要修改)

GGSCI (local) 1> add exttrail D:\tool\ogg\dirdat\r1 extract ext1 (将ext1抽取的源数据变更数据写到该文件夹)

GGSCI (local) 1> edit params ext1 （修改ext1的配置参数）

extract ext1

userid IRP,password IRP

rmthost 10.6.1.59，mgrport7809  --目标服务器ip

rmttrail D:\tool\ogg\dirdat\r1   --目标服务器文件夹

ddl include mapped objname IRP.*;

table IRP.*;

配置完成后可以通过info all查看到新添加的extract的状态

7、启动ogg extract命令

GGSCI (local) 1> start extract ext1  (等目标服务器ogg配置成功后再启动ext)

2.3目标服务器配置

1、登陆ogg控制台

GGSCI(local) 1> dblogin userid IRP

2、配置oggmanager&启动manager（配置界面操作类似vi）

GGSCI(local) 1> edit param mgr

PORT7809

DYNAMICPORTLIST7840-7850  --远程队列端口范围

GGSCI(local) 1> info all(查看当前mgr状态)

3、添加一个oggreplicat进程，用于更新目标服务器数据

GGSCI(local) 1> edit params ./GLOBAL

GSSCHEMAIRP

CHECKPOINTTABLEIRP.checkpoint

GGSCI(local) 2> dblogin userid IRP

Password:IRP

Successfullylogged into database.

GGSCI(local) 3> add checkpointtable IRP.checkpoint

Successfullycreated checkpoint table IRP.CHECKPOINT.

GGSCI(local) 4> ADD replicat rep1 EXTTRAIL D:\tool\ogg\dirdat\r1,checkpointtable IRP.checkpoint

GGSCI(local) 5> edit param rep1

replicatrep1

userid IRP,password IRP

ASSUMETARGETDEFS

reperrordefault,discard

discardfileD:\tool\discard\repsz.dsc,append,megabytes 10 （repsz.dsc要自己创建）

DDLINCLUDE MAPPED

DDLERRORDEFAULT IGNORE RETRYOP

map IRP.*,target IRP*;

配置完成后可以通过infoall查看到新添加的extract的状态

4、启动oggmanager & replicat命令

GGSCI(local) 1> start manager

GGSCI(local) 1> start replicat rep1

最后参考源服务器配置，启动ext1

2.4 维护相关的命令

注：n指的是相应的编号

1、  启动manager：startmanager

2、  启动extract：startextract extn

3、  启动replicat：startreplicat repn

4、  停止manager：stopmanager

5、  停止 extract：stopextract extn

6、  停止replicat：stopreplicat repn

7、  删除extract：deleteextract extn

8、  删除replicat：deleteextract repn

9、  查看ogg状态：infoall

10、修改manager参数：editparams mgr

11、修改extract参数：editparams extn

12、修改replicat参数：editparams repn

13、修改全局参数：editparams ./GLOBAL

三．测试在源服务器上建表,然后查看目标服务器是否有相应的记录。
用PL/SQL登录数据库，用IRP用户。

3.1  源库建表及验证目标库create table test as select * from scott.emp;
查询表记录，如下

Select * from test;


检查目标数据库，如下



3.2 源库插入、删除记录及验证目标库
源库插入一条记录
Inert into test values(7937,'TOM','IT',7839,TO_DATE('2015/06/21','YYYY/MM/DD'),8000,0.00,30);

检查目标数据库




源库删除一条记录
delete from test where EMPNO=7937 and ENAME='TOM';

检查目标数据库
已经删除。