大数据-玩转数据-Oracle GoldenGate（OGG）

大家好，欢迎来到IT知识分享网。

前言

Oracle GoldenGate，简称OGG，是一种基于日志的结构化数据复制备份软件，它通过解析源数据库在线日志或归档日志获得数据的增量变化，再将这些变化应用到目标数据库，从而实现源数据库与目标数据库同步。Oracle GoldenGate可以在异构的IT基础结构(包括几乎所有常用操作系统平台和数据库平台)之间实现大量数据亚秒一级的实时复制,从而在可以在应急系统、在线报表、实时数据仓库供应、交易跟踪、数据同步、集中/分发、容灾、数据库升级和移植、双业务中心等多个场景下应用。同时，Oracle GoldenGate可以实现一对一、广播(一对多)、聚合(多对一)、双向、点对点、级联等多种灵活的拓扑结构。(Oracle goldengate快速入门篇(详解goldengate概念到原理))

1. OGG简介

OGG 它通过解析源数据库在线日志或归档日志获得数据的增删改变化（数据量只有日志的四分之一左右）
OGG 能够实现大量交易数据的实时捕捉，变换和投递，实现源数据库与目标数据库的数据同步，保持最少10ms的数据延迟。

2. 应用场景

• 高可用容灾
• 数据库迁移、升级（支持跨版本、异构数据库、零宕机时间、亚秒级恢复）
• 实时数据集成（支持异构数据库、多源数据库）
  –

3.基本原理

基于日志捕获技术的实时增量数据集成

Oracle GoldenGate 数据复制过程如下：

• 利用抽取进程(Extract Process)在源端数据库中读取Online Redo Log或者Archive
  Log，然后进行解析，只提取其中数据的变化信息，比如DML操作——增、删、改操作
• 将抽取的信息转换为GoldenGate自定义的中间格式存放在队列文件(trail file)中
• 再利用传输进程将队列文件(trail file)通过TCP/IP传送到目标系统。
• 目标端有一个进程叫Server Collector，这个进程接受了从源端传输过来的数据变化信息
• 把信息缓存到GoldenGate 队列文件(trail file)当中，等待目标端的复制进程读取数据。
• GoldenGate 复制进程(replicat process)从队列文件(trail file)中读取数据变化信息，并创建对应的SQL语句，通过数据库的本地接口执行，提交到目标端数据库，提交成功后更新自己的检查点，记录已经完成复制的位置，数据的复制过程最终完成。

4. 基本架构

Oracle GoldenGate主要由如下组件组成

5. 常用的拓扑结构

• 单向复制：由一个源数据库复制到一个目的数据库，一般用于高可用性和容灾，为生产机保持一个活动的备份数据库，从而在发生灾难的时候迅速切换，减少数据丢失和系统宕机时间；
• 双向复制：利用GoldenGate TDM可以实现两个数据库之间数据的双向复制，任何一方的数据变化都会被传递到另一端，可以利用此模式开展双业务中心；
• 广播复制：由一个数据库向多个数据库复制，利用GoldenGate TDM的数据过滤功能可以实现数据的有选择分发；
• 集中复制：由多个数据库向一个数据库复制，可以将分布的、跨平台或异构的多个数据库集中到一个数据库。此种模式广泛应用于n+1模式的容灾，通过将多个系统数据库集中到一起，可以充分利用备份中心的设施，大幅减少投资；另外也用于跨平台多系统的数据集成，为这些提供系统提供一个统一视图便于查询和统计数据。
• 多层复制：由A数据库向B复制，同时又由B向C复制，可以在以上几种模式基础上无限制扩展。

由此可见，GoldenGate TDM的复制模式非常灵活，用户可以根据自己的需求选择特定的复制方式，并根据系统扩展对复制进行扩展。

6. 支持的环境

源和目标的操作系统和数据库可以进行任意的组合

7. OGG安装部署

注：在Docker环境下，整合Oracle，

7.1 配置Oracle11gR2数据库

7.1.1 Oracle11gR2打开归档模式

需要切换到oracle用户操作：

su - oracle 

因为配置数据库需要在sqlplus中执行，所以使用sysdba用户登录：

sqlplus / as sysdba 

archive log list 

Automatic archival是Disabled状态，因为Oracle默认是不开启自动归档的

conn /as sysdba 

关闭数据库，执行命令：

shutdown immediate 

启动并装载数据库，但没有打开数据文件，该命令常用来修改数据库运行模式或恢复数据库。执行命令：

startup mount 

执行开启归档命令：

alter database archivelog; 

执行打开数据库命令：

alter database open; 

执行自动归档命令：

alter system archive log start; 

archive log list 

Automatic archival变成了Enabled状态，表示已经开启自动归档成功

7.1.2 Oracle开启辅助日志和补充日志

select force_logging,supplemental_log_data_min from v$database; 

当显示NO的时候表示没有开启，需要调整

• 开启数据库的辅助日志和补充日志 开启强制日志后数据库会记录除临时表空间或临时回滚段外所有的操作，命令：

alter database force logging; 

开启辅助日志命令：

alter database add supplemental log data; 

开启主键附加日志命令：

alter database add supplemental log data (primary key) columns; 

开启全列附加日志命令：

 alter database add supplemental log data (all) columns; 

select force_logging,supplemental_log_data_min from v$database; 

当显示为YES的时候表示开启成功。

7.2 安装OGG源端

7.2.1 解压和安装OGG源端软件包

1.创建OGG源端的目录,使用root用户创建：

mkdir /u01/app/ogg/src 

2.添加OGG源端的目录到oracle用户的环境变量中（需要切换到oracle用户操作）

su - oracle 

vim ~/.bash_profile 

export OGG_SRC_HOME=/u01/app/ogg/src export LD_LIBRARY_PATH=$ORACLE_HOME/lib:/usr/lib 

source ~/.bash_profile 

# 退出oracle用户shell命令： exit 

cd /export/softwares/oracle/ogg 

创建src文件夹是用来存放解压后的OGG源端软件

mkdir /export/softwares/oracle/ogg/src/ 

解压OGG源端软件到src文件夹下

unzip /export/softwares/oracle/ogg/V34339-01.zip -d /export/softwares/oracle/ogg/src/ 

cd /export/softwares/oracle/ogg/src/ 

fbo_ggs_Linux_x64_ora11g_64bit.tar文件才是OGG源端的软件包，解压该文件到/u01/app/ogg/src目录下，执行命令：

tar -xf fbo_ggs_Linux_x64_ora11g_64bit.tar -C /u01/app/ogg/src 

chown -R oracle:oinstall /u01/app/ogg/src 

可以看到/u01/app/ogg/目录下的src属于oracle用户和oinstall组

可以看到/u01/app/ogg/src目录下的所有文件都属于oracle用户和oinstall组

7.2.2 在Oracle中创建OGG相关的用户和表空间

创建表空间在磁盘中的物理路径（需要到root用户操作）

mkdir -p /u01/app/oracle/oggdata/orcl/ chown -R oracle:oinstall /u01/app/oracle/oggdata/orcl 

su - oracle 

登录sqlplus：

sqlplus / as sysdba 

创建oggtbs表空间

create tablespace oggtbs datafile '/u01/app/oracle/oggdata/orcl/oggtbs.dbf' size 500M autoextend on; 

创建ogg用户(用户名和密码都是ogg)

create user ogg identified by ogg default tablespace oggtbs; 

赋予ogg用户dba权限

grant dba to ogg; 

7.2.3 OGG源端初始化

使用oracle用户登录源端OGG的命令行中

su – oracle 

cd $OGG_SRC_HOME 

./ggsci 

初始化源端OGG目录
注意：如果不在OGG_SRC_HOME下，初始化OGG目录时会报错

create subdirs 

退出OGG命令行客户端：exit

检查源端OGG初始化后的目录
初始化完成后，可以查询在$OGG_SRC_HOME下是否存在dirchk、dirdat、dirdef、dirjar、dirout、dirpcs、dirprm、dirrpt、dirsql、dirtmp共11个目录。

7.3 配置OGG源端

7.3.1 Oracle创建测试表

#切换到oracle用户： su – oracle #登录sqlplus： sqlplus "/as sysdba" 

#在oracle中创建test_ogg用户： create user test_ogg identified by test_ogg default tablespace users; #为test_ogg用户授权： grant dba to test_ogg; #使用test_ogg用户登录： conn test_ogg/test_ogg; #创建test_ogg表： create table test_ogg(id int ,name varchar(20),primary key(id)); 

7.3.2 配置OGG的全局变量

• 使用oracle用户进入OGG_SRC_HOME目录下

#切换到oracle用户下： su – oracle #打印源端OGG_SRC_HOME： echo $OGG_SRC_HOME #进入OGG_SRC_HOME： cd $OGG_SRC_HOME 

• 进入源端OGG命令行

./ggsci 

• 使用oracle中的ogg用户登录

dblogin userid ogg password ogg 

配置全局变量

edit param ./globals 

oggschema ogg 

然后跟使用vi一样，在新窗口中添加oggschema ogg后保存退出编辑

7.3.3 配置管理器MGR进程

进入源端OGG命令行

./ggsci 

创建mgr进程：

edit param mgr 

PORT 7809 DYNAMICPORTLIST 7810-7909 AUTORESTART EXTRACT *,RETRIES 5,WAITMINUTES 3 PURGEOLDEXTRACTS ./dirdat/*,usecheckpoints, minkeepdays 3 

7.3.4 添加复制表

进入源端OGG命令行

./ggsci 

add trandata test_ogg.test_ogg info trandata test_ogg.test_ogg 

7.3.5 配置extract进程

配置Extract进程：

edit param extkafka 

新增内容：

extract extkafka 

dynamicresolution SETENV (ORACLE_SID = “orcl”) SETENV (NLS_LANG = “american_america.AL32UTF8”) userid ogg,password ogg exttrail /u01/app/ogg/src/dirdat/to table test_ogg.test_ogg; 

添加Extract进程：

add extract extkafka,tranlog,begin now 

将trail文件配置与extract进程绑定：

add exttrail /u01/app/ogg/src/dirdat/to,extract extkafka 

7.3.6 配置pump进程

配置Pump进程：

edit param pukafka 

新增内容：

extract pukafka passthru dynamicresolution userid ogg,password ogg rmthost localhost mgrport 7809 rmttrail /u01/app/ogg/tgr/dirdat/to table test_ogg.test_ogg; 

extract进程名称；passthru即禁止OGG与Oracle交互，我们这里使用pump逻辑传输，故禁止即可；dynamicresolution动态解析；userid ogg,password ogg即OGG连接Oracle数据库的帐号密码rmthost和mgrhost即目标端(kafka)OGG的mgr服务的地址以及监听端口；rmttrail即目标端trail文件存储位置以及名称。

将源端trail文件绑定到Extract进程：

add extract pukafka,exttrailsource /u01/app/ogg/src/dirdat/to 

将目标端trail文件绑定到Extract进程：

add rmttrail /u01/app/ogg/tgr/dirdat/to,extract pukafka 

7.3.7 配置define文件

注意：该文件用来在异构数据源之间传输时，需明确知道表之间的映射关系，比如：Oracle与MySQL，Hadoop集群（HDFS，Hive，kafka等）等之间数据传输可以定义为异构数据类型的传输，故需要定义表之间的关系映射，在OGG命令行执行：

配置define文件：

edit param test_ogg 

defsfile /u01/app/ogg/src/dirdef/test_ogg.test_ogg userid ogg,password ogg table test_ogg.test_ogg; 

生成表schema文件：（在OGG_SRC_HOME目录下执行(oracle用户)）

./defgen paramfile dirprm/test_ogg.prm 

将生成的/u01/app/ogg/src/dirdef/test_ogg.test_ogg发送的目标端ogg目录下的dirdef里：

scp -r /u01/app/ogg/src/dirdef/test_ogg.test_ogg /u01/app/ogg/tgr/dirdef/ 

因为目标端目录还没有创建，因此发送文件可能会失败，所以执行完目标端配置后发送即可

7.4 配置OGG目标端

7.4.1 解压和安装OGG目标端软件包

• 创建OGG目标端的目录

使用root用户创建：

mkdir /u01/app/ogg/tgr 

• 添加OGG目标端的目录到oracle用户的环境变量中

从root用户切换到oracle用户：

su oracle 

注意【非常重要】：在这里，需要调整oracle用户的.bash_profile，主要是更新LD_LIBRARY_PATH的值，来确保源端和目标端的ggsci命令都可以正常使用。如果不更新的话，目标端ggsci命令可以使用，但源端的ggsci命令无法使用，会报错./ggsci: error while loading shared libraries: libclntsh.so.11.1: cannot open shared object file: No such file or directory

vim ~/.bash_profile 

export OGG_TGR_HOME=/u01/app/ogg/tgr export LD_LIBRARY_PATH=$JAVA_HOME/jre/lib/amd64:$JAVA_HOME/jre/lib/amd64/server:$JAVA_HOME/jre/lib/amd64/libjsig.so:$JAVA_HOME/jre/lib/amd64/server/libjvm.so:$ORACLE_HOME/lib:/usr/lib 

source ~/.bash_profile 

#退出oracle用户shell命令： exit 

• 解压OGG目标端软件

OGG源端的软件包是V-01.zip，存放在/export/softwares/oracle/ogg目录下。需要使用root用户解压

cd /export/softwares/oracle/ogg 

创建tgr文件夹是用来存放解压后的OGG目标端软件

mkdir -p /export/softwares/oracle/ogg/tgr/ 

解压OGG目标端软件到tgr文件夹下

unzip /export/softwares/oracle/ogg/V-01.zip -d /export/softwares/oracle/ogg/tgr/ 

cd /export/softwares/oracle/ogg/tgr/ 

ggs_Adapters_Linux_x64.tar文件是真正的OGG目标端软件包，解压该文件到/u01/app/ogg/tgr目录下，执行命令：

tar -xf ggs_Adapters_Linux_x64.tar -C /u01/app/ogg/tgr/ 

• 配置/u01/app/ogg/tgr目录及其所有文件的权限

解压后的默认用户和组

使用root用户执行授权命令：

chown -R oracle:oinstall /u01/app/ogg/tgr 

可以看到/u01/app/ogg/目录下的tgr属于oracle用户和oinstall组。

ll /u01/app/ogg/tgr 

可以看到/u01/app/ogg/tgr目录下的所有文件都属于oracle用户和oinstall组。

7.4.2 OGG目标端初始化

• 使用oracle用户登录目标端OGG的命令行中

可以看到/u01/app/ogg/目录下的tgr属于oracle用户和oinstall组。

su oracle 

切换oracle用户时需要重新加载环境变量：

source ~/.bash_profile 

cd $OGG_TGR_HOME 

./ggsci 

• 初始化目标端OGG目录

注意：如果不在OGG_TGR_HOME下，初始化目标端OGG目录时会报错

create subdirs 

退出OGG命令行客户端：

exit 

• 检查目标端OGG初始化后的目录

初始化完成后，可以查询在$OGG_TGR_HOME下是否存在dirchk、dircrd、dirdat、dirdef、dirdmp、diretc、dirout、dirpcs、dirprm、dirrpt、dirsql、dirtmp、dirwlt、dirwww共14个目录。

7.4.3 拷贝源端的define文件到目标端

将生成的/u01/app/ogg/src/dirdef/test_ogg.test_ogg发送的目标端ogg目录下的dirdef里：

scp -r $OGG_SRC_HOME/dirdef/test_ogg.test_ogg $OGG_TGR_HOME/dirdef/ 

7.4.4 安装zookeeper和Kafka

tar -zxf /export/softwares/zookeeper-3.4.14.tar.gz -C /export/services/ 

创建软连接：

ln -s /export/services/zookeeper-3.4.14 /export/services/zookeeper 

创建zoo.cfg：

cp /export/services/zookeeper/conf/zoo_sample.cfg /export/services/zookeeper/conf/zoo.cfg 

配置zoo.cfg：

vim /export/services/zookeeper/conf/zoo.cfg 

tickTime=2000 initLimit=10 syncLimit=5 dataDir=/export/datas/zookeeper/data dataLogDir=/export/datas/zookeeper/log clientPort=2181 

创建ZooKeeper的数据路径：

mkdir -p /export/datas/zookeeper/data mkdir -p /export/datas/zookeeper/log 

添加到环境变量：

vim /etc/profile 

export ZOOKEEPER_HOME=/export/services/zookeeper export PATH=.:$ZOOKEEPER_HOME/bin:$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH 

source /etc/profile 

启动ZooKeeper：

zkServer.sh start zkServer.sh status 

• 安装kafka(使用root用户操作)
  解压：

tar -zxf /export/softwares/kafka_2.11-2.2.0.tgz -C /export/services/ 

创建软连接：

ln -s /export/services/kafka_2.11-2.2.0 /export/services/kafka 

配置server.prperties：

vim /export/services/kafka/config/server.properties 

listeners=PLAINTEXT://server01:9092 broker.id=0 zookeeper.connect=server01:2181 

添加环境变量：

vim /etc/profile 

export KAFKA_HOME=/export/services/kafka export PATH=.:$KAFKA_HOME/bin:$ZOOKEEPER_HOME/bin:$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH 

source /etc/profile 

启动Kafka：

kafka-server-start.sh -daemon /export/services/kafka/config/server