OGG从oracle到KAFKA的增量数据表同步操作

OGG从oracle到KAFKA的增量数据表同步操作

需求

oracle的库：cas库
kfaka服务器：给与topic信息、以及服务器IP：端口
同步表：cas.students

环境

在独立的服务器上面装ogg for oracle11g 以及ogg for bigdata
通过在ogg for oracle服务器连接源端数据库做抽取到本地
通过ogg for bigdata服务器做复制

1. OGG for Oracle安装及配置

1. 开启归档

archivelog list;

2.开启强制日志模式

alter database force logging;
select force_logging from v$database;

3. 开启系统级最小附加日志

alter database add supplemental log data;
select supplemental_log_data_min,supplemental_log_data_pk,supplemental_log_data_ui,supplemental_log_data_fk from v$database;
启用支持：
alter system set enable_goldengate_replication=true;

4. 创建访问的ogg管理用户

**查看表空间管理数据
select tablespace_name,contents from dba_tablespaces;
select name from v$datafile;
**创建ogg专用表空间
create tablespace ogg_data datafile '' size 1G;
**创建ogg用户
create user ogg identified by xxx  default tablespace ogg_data;
**授予权限
grant connect,resource,dba to ogg;

7. 为每个集成抽取进程设置STREAMS POOL(每个抽取进程至少1GB)

show parameter streams_pool

8. 解压ogg安装包
9. 初始化软件目录

./ggsci
ggsci>create subdirs

10.测试数据库连接

** 配置tnsname.ora
DEV04 =
  (DESCRIPTION =
    (ADDRESS_LIST =
      (ADDRESS = (PROTOCOL = TCP)(HOST = ip)(PORT = 1526))
    )
    (CONNECT_DATA =
      (SERVER = DEDICATED)
      (SERVICE_NAME = DEV04)
    )
  )
 **连接
 ggsci>