设为首页 收藏本站
查看: 722|回复: 0

[经验分享] 使用Goldengate 实现Oracle for Oracle 单向数据同步

[复制链接]
累计签到:1 天
连续签到:1 天
发表于 2015-9-16 08:53:40 | 显示全部楼层 |阅读模式
实验环境
数据源端:  host1 ip 192.168.199.163  
数据目标端: host2 ip 192.168.199.104

两台机器都安装 http://www.iyunv.com/thread-114217-1-1.html 文中描述安装配置好了Goldengate 。

要实现数据的同步,Oracle源端必须满足如下设置

  • Oracle需要运行在归档模式下


1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
SQL> startup mount
ORACLE instance started.

Total System Global Area  835104768 bytes
Fixed Size         2217952 bytes
Variable Size        574621728 bytes
Database Buffers     255852544 bytes
Redo Buffers           2412544 bytes
Database mounted.
SQL> alter database archivelog;

Database altered.

SQL> alter database open;

Database altered.



2. 开启日志附加属性
1
2
3
4
5
6
7
SQL> ALTER DATABASE ADD SUPPLEMENTAL LOG DATA;

Database altered.

SQL> ALTER SYSTEM SWITCH LOGFILE;

System altered.




ogg安装目录下提供了一些demo的sql

1
2
[oracle@localhost ogg]$ ls demo_ora_*
demo_ora_create.sql  demo_ora_insert.sql  demo_ora_lob_create.sql  demo_ora_misc.sql  demo_ora_pk_befores_create.sql  demo_ora_pk_befores_insert.sql  demo_ora_pk_befores_updates.sql




我们使用demo_ora_create.sql在源和目的端都创建两张表,在源端使用demo_ora_insert.sql插入数据。

host1
1
2
3
4
5
6
7
8
9
10
11
12
13
14
SQL> alter user scott identified by tiger account unlock;

User altered.

SQL> grant resource to scott;  #ggsci 登录数据库时需要该权限
Grant succeeded.

SQL> grant select any dictionary to scott; # add trandata时需要该权限

Grant succeeded.
SQL> conn scott/tiger
Connected.
SQL> @demo_ora_create.sql
SQL> @demo_ora_insert.sql



host2

1
2
3
4
5
6
7
8
9
10
SQL> alter user scott identified by tiger account unlock;

User altered.
SQL> grant resource to scott;  #ggsci 登录数据库时需要该权限
Grant succeeded.

SQL> grant select any dictionary to scott; # add trandata时需要该权限
SQL> conn scott/tiger
Connected.
SQL> @demo_ora_create.sql




为需要同步的表,添加附加日志
1
2
3
4
5
6
7
8
9
10
GGSCI (localhost.localdomain) 1> dblogin userid scott, password tiger
Successfully logged into database.

GGSCI (localhost.localdomain) 2> add trandata scott.tcustmer

Logging of supplemental redo data enabled for table SCOTT.TCUSTMER.

GGSCI (localhost.localdomain) 3> add trandata scott.tcustord

Logging of supplemental redo data enabled for table SCOTT.TCUSTORD.




一、初始化加载数据

在源端配置一个初始化Extract,用来同步表中现有数据
1
2
GGSCI (localhost.localdomain) 7> ADD EXTRACT EINILOAD, SOURCEISTABLE
EXTRACT added.



ADD EXTRACT命令用来添加一个EXTRACT, EINILOAD为Extract的group name 。SOURCEISTABLE表示数据源为表。
查看Extract的信息
1
2
3
4
5
6
7
GGSCI (localhost.localdomain) 9> INFO EXTRACT *, TASKS

EXTRACT    EINILOAD  Initialized   2015-09-11 15:25   Status STOPPED
Checkpoint Lag       Not Available
Log Read Checkpoint  Not Available
                     First Record         Record 0
Task                 SOURCEISTABLE



配置初始化加载的捕获参数
1
2
3
4
5
6
7
8
9
10
11
12
13
GGSCI (localhost.localdomain) 10> edit params EINILOAD


--
-- GoldenGate Initial Data Capture
-- for TCUSTMER and TCUSTORD
--
EXTRACT EINILOAD
USERID system, PASSWORD "oracle"
RMTHOST 192.168.199.104, MGRPORT 7809
RMTTASK REPLICAT, GROUP RINILOAD
TABLE SCOTT.TCUSTMER;
TABLE SCOTT.TCUSTORD;




在目标端,配置一个REPLICAT
1
2
GGSCI (localhost.localdomain) 2> ADD REPLICAT RINILOAD, SPECIALRUN
REPLICAT added.




查看REPLICAT信息
1
2
3
4
5
6
GGSCI (localhost.localdomain) 4> info replicat *, tasks

REPLICAT   RINILOAD  Initialized   2015-08-22 14:18   Status STOPPED
Checkpoint Lag       00:00:00 (updated 00:02:50 ago)
Log Read Checkpoint  Not Available
Task                 SPECIALRUN



配置Replicat参数

1
2
3
4
5
6
7
8
9
10
11
GGSCI (localhost.localdomain) 5> edit params riniload


--
-- GoldenGate Initial Load Delivery
--
REPLICAT RINILOAD
ASSUMETARGETDEFS
USERID system, PASSWORD "oracle"
DISCARDFILE ./dirrpt/RINILOAD.dsc, PURGE
MAP scott.*, TARGET scott.*;




启动Extract
1
2
3
4
GGSCI (localhost.localdomain) 11> start extract einiload

Sending START request to MANAGER ...
EXTRACT EINILOAD starting




查看日志
1
GGSCI (localhost.localdomain) 21> view report einiload



如果有报错,查找原因并解决
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
Processing table SCOTT.TCUSTMER

Processing table SCOTT.TCUSTORD

***********************************************************************
*                   ** Run Time Statistics **                         *
***********************************************************************


Report at 2015-09-11 16:23:40 (activity since 2015-09-11 16:23:33)

Output to RINILOAD:

From Table SCOTT.TCUSTMER:
       #                   inserts:         2
       #                   updates:         0
       #                   deletes:         0
       #                  discards:         0
From Table SCOTT.TCUSTORD:
       #                   inserts:         2
       #                   updates:         0
       #                   deletes:         0
       #                  discards:         0


REDO Log Statistics
  Bytes parsed                    0
  Bytes output                  574



日志显示,已成功同步数据。
到目的库上验证
1
2
3
4
5
6
7
8
9
10
11
SQL> select count(*) from tcustmer;

  COUNT(*)
----------
     2

SQL> select count(*) from tcustord;

  COUNT(*)
----------
     2




二、配置数据实时同步
源端,配置一个实时Extract
1
2
GGSCI (localhost.localdomain) 22> ADD EXTRACT EORAKK, TRANLOG, BEGIN NOW, THREADS 1
EXTRACT added.



编辑Extract的参数文件
1
2
3
4
5
6
7
8
9
10
11
12
13
GGSCI (localhost.localdomain) 23> EDIT PARAMS EORAKK


--
-- Change Capture parameter file to capture
-- TCUSTMER and TCUSTORD Changes
--
EXTRACT EORAKK
USERID system, PASSWORD oracle
RMTHOST 192.168.199.104, MGRPORT 7809
RMTTRAIL ./dirdat/KK
TABLE SCOTT.TCUSTMER;
TABLE SCOTT.TCUSTORD;



为Extract添加远端tail file,也就是说这个tail file是在目的端生成的。
1
2
GGSCI (localhost.localdomain) 24> ADD RMTTRAIL ./dirdat/KK, EXTRACT EORAKK, MEGABYTES 5
RMTTRAIL added.




验证结果

1
2
3
4
5
6
7
GGSCI (localhost.localdomain) 28> INFO RMTTRAIL *

       Extract Trail: ./dirdat/KK
             Extract: EORAKK
               Seqno: 0
                 RBA: 0
           File Size: 5M



启动Extract 进程
1
2
3
4
GGSCI (localhost.localdomain) 29> start extract eorakk

Sending START request to MANAGER ...
EXTRACT EORAKK starting



验证结果

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
GGSCI (localhost.localdomain) 30> INFO EXTRACT EORAKK, DETAIL

EXTRACT    EORAKK    Last Started 2015-09-11 17:07   Status RUNNING
Checkpoint Lag       00:00:00 (updated 00:00:01 ago)
Log Read Checkpoint  Oracle Redo Logs
                     2015-09-11 17:07:47  Thread 1, Seqno 25, RBA 36139008
                     SCN 0.1174781 (1174781)

  Target Extract Trails:

  Remote Trail Name                                Seqno        RBA     Max MB

  ./dirdat/KK                                          0       1050          5

  Extract Source                          Begin             End            

  /u01/app/oracle/oradata/orcl/redo01.log  2015-09-11 16:58  2015-09-11 17:07
  Not Available                           * Initialized *   2015-09-11 16:58


Current directory    /u01/app/ogg

Report file          /u01/app/ogg/dirrpt/EORAKK.rpt
Parameter file       /u01/app/ogg/dirprm/eorakk.prm
Checkpoint file      /u01/app/ogg/dirchk/EORAKK.cpe
Process file         /u01/app/ogg/dirpcs/EORAKK.pce
Stdout file          /u01/app/ogg/dirout/EORAKK.out
Error log            /u01/app/ogg/ggserr.log



1
GGSCI (localhost.localdomain) 31> VIEW REPORT EORAKK



1
2
3
4
5
6
GGSCI (localhost.localdomain) 32> INFO ALL

Program     Status      Group       Lag at Chkpt  Time Since Chkpt

MANAGER     RUNNING                                          
EXTRACT     RUNNING     EORAKK      00:00:00      00:00:06




目标端,配置REPLICAT
安装checkpoint表

配置checkpoint表的名称
1
2
3
4
GGSCI (localhost.localdomain) 33> EDIT PARAMS ./GLOBALS


HECKPOINTTABLE system.ggschkpt



生成checkpoint表

1
2
3
4
5
6
7
8
9
10
GGSCI (localhost.localdomain) 1> DBLOGIN USERID system, PASSWORD oracle
Successfully logged into database.

GGSCI (localhost.localdomain) 2> ADD CHECKPOINTTABLE

No checkpoint table specified, using GLOBALS specification (system.ggschkpt)...

Successfully created checkpoint table system.ggschkpt.

GGSCI (localhost.localdomain) 3>




添加Replicat
1
2
GGSCI (localhost.localdomain) 3> ADD REPLICAT RORAKK, EXTTRAIL ./dirdat/KK
REPLICAT added.




创建Replicat的参数文件
1
2
3
4
5
6
7
8
9
10
11
12
13
14
GGSCI (localhost.localdomain) 4> EDIT PARAMS RORAKK


--
-- Change Delivery parameter file to apply
-- TCUSTMER and TCUSTORD Changes
--
REPLICAT RORAKK
USERID system, PASSWORD oracle
HANDLECOLLISIONS
ASSUMETARGETDEFS
DISCARDFILE ./dirrpt/RORAKK.DSC, PURGE
MAP scott.tcustmer, TARGET scott.tcustmer;
MAP scott.tcustord, TARGET scott.tcustord;



启动Replicat
1
2
3
4
GGSCI (localhost.localdomain) 5> start replicat rorakk

Sending START request to MANAGER ...
REPLICAT RORAKK starting



验证结果
1
2
3
4
5
6
GGSCI (localhost.localdomain) 6> info replicat rorakk

REPLICAT   RORAKK    Last Started 2015-08-22 15:49   Status RUNNING
Checkpoint Lag       00:00:00 (updated 00:00:08 ago)
Log Read Checkpoint  File ./dirdat/KK000000
                     First Record  RBA 1050




验证数据同步
在源数据库,执行如下脚本,对两个表进行insert、update、delete操作
1
2
3
4
5
6
7
8
9
10
11
12
[oracle@localhost ogg]$ sqlplus scott/tiger

SQL*Plus: Release 11.2.0.1.0 Production on Fri Sep 11 17:58:17 2015

Copyright (c) 1982, 2009, Oracle.  All rights reserved.


Connected to:
Oracle Database 11g Enterprise Edition Release 11.2.0.1.0 - 64bit Production
With the Partitioning, OLAP, Data Mining and Real Application Testing options

SQL> @/u01/app/ogg/demo_ora_misc.sql



查看源表中的数据
1
2
3
4
5
6
7
8
9
10
11
SQL> select count(*) from tcustmer;

  COUNT(*)
----------
     5

SQL> select count(*) from tcustord;

  COUNT(*)
----------
     3



查看目的表的数据
1
2
3
4
5
6
7
8
9
10
11
SQL> select count(*) from tcustmer;

  COUNT(*)
----------
     5

SQL> select count(*) from tcustord;

  COUNT(*)
----------
     3



数据已同步


运维网声明 1、欢迎大家加入本站运维交流群:群②:261659950 群⑤:202807635 群⑦870801961 群⑧679858003
2、本站所有主题由该帖子作者发表,该帖子作者与运维网享有帖子相关版权
3、所有作品的著作权均归原作者享有,请您和我们一样尊重他人的著作权等合法权益。如果您对作品感到满意,请购买正版
4、禁止制作、复制、发布和传播具有反动、淫秽、色情、暴力、凶杀等内容的信息,一经发现立即删除。若您因此触犯法律,一切后果自负,我们对此不承担任何责任
5、所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其内容的准确性、可靠性、正当性、安全性、合法性等负责,亦不承担任何法律责任
6、所有作品仅供您个人学习、研究或欣赏,不得用于商业或者其他用途,否则,一切后果均由您自己承担,我们对此不承担任何法律责任
7、如涉及侵犯版权等问题,请您及时通知我们,我们将立即采取措施予以解决
8、联系人Email:admin@iyunv.com 网址:www.yunweiku.com

所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其承担任何法律责任,如涉及侵犯版权等问题,请您及时通知我们,我们将立即处理,联系人Email:kefu@iyunv.com,QQ:1061981298 本贴地址:https://www.yunweiku.com/thread-114218-1-1.html 上篇帖子: Oracle Goldengate 安装配置 下篇帖子: Oracle 11g RAC开启归档,闪回并设置各自不同的路径 Oracle
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

扫码加入运维网微信交流群X

扫码加入运维网微信交流群

扫描二维码加入运维网微信交流群,最新一手资源尽在官方微信交流群!快快加入我们吧...

扫描微信二维码查看详情

客服E-mail:kefu@iyunv.com 客服QQ:1061981298


QQ群⑦:运维网交流群⑦ QQ群⑧:运维网交流群⑧ k8s群:运维网kubernetes交流群


提醒:禁止发布任何违反国家法律、法规的言论与图片等内容;本站内容均来自个人观点与网络等信息,非本站认同之观点.


本站大部分资源是网友从网上搜集分享而来,其版权均归原作者及其网站所有,我们尊重他人的合法权益,如有内容侵犯您的合法权益,请及时与我们联系进行核实删除!



合作伙伴: 青云cloud

快速回复 返回顶部 返回列表