Debezium系列之:Debezium技术专栏第300篇系列文章之打通Debezium实时采集Oracle数据库数据到Kafka集群的技术

Debezium系列之:Debezium技术专栏第300篇系列文章之打通Debezium实时采集Oracle数据库数据到Kafka集群的技术

  • 一、需求描述
  • 二、部署Debezium集群和Oracle连接器
  • 三、安装Oracle数据库
  • 四、设置具有采集Oracle数据库数据权限的账号
    • 1.以系统管理员的身份连接到数据库实例
    • 2.创建表空间
    • 3.以管理员身份登录到数据库实例
    • 4.创建表空间
    • 5.创建Oracle数据库账号
    • 6.赋予账号创建会话的权限
    • 7.赋予账号当前容器的权限
    • 8.赋予账号查询权限
    • 9.赋予账号执行Flashback操作的权限
    • 10.赋予账号可以查询任何表中的数据
    • 11.赋予账号访问元数据的权限
    • 12.赋予账号查询和执行存储过程和函数的权限
    • 13.赋予账号查询事务的权限
    • 14.赋予账号日志挖掘的权限
    • 15.赋予账号创建表的权限
    • 16.赋予账号锁定任何表的权限
    • 17.赋予账号创建序列的权限
    • 18.赋予账号使用DBMS_LOGMNR日志挖掘的权限
    • 19.赋予账号使用DBMS_LOGMNR_D日志挖掘的权限
    • 20.赋予账号通过V_$LOG查询日志文件信息的权限
    • 21.赋予账号通过V_̲LOG_HISTORY查询历史日志文件信息的权限
    • 22.赋予账号使用V_̲LOGMNR_LOGS查询可用于日志挖掘的日志文件信息的权限
    • 23.赋予账号通过V_$LOGMNR_CONTENTS日志挖掘过程发现更改信息的权限
    • 24.赋予账号通过V_̲LOGMNR_PARAMETERS查询日志挖掘配置参数信息的权限
    • 25.赋予账号通过V_$LOGFILE查询数据库日志文件信息的权限
    • 26.赋予账号通过V_̲ARCHIVED_LOG查询数据库已归档日志文件信息的全县
    • 27.赋予账号通过V_̲ARCHIVE_DEST_STATUS查询数据库归档目标状态信息的权限
    • 28.赋予账号通过V_̲TRANSACTION查询当前事务信息的权限
    • 29.赋予账号通过V_$MYSTAT查询当前用户性能统计信息的权限
    • 30.赋予账号通过V_̲STATNAME查询性能统计信息的权限
    • 31.退出数据库
  • 五、设置Oracle数据库归档模式
    • 1.创建好数据库恢复文件的存储路径
    • 2.管理员身份登录数据库
    • 3.设置数据库恢复文件大小
    • 4.设置数据库恢复文件的存储路径
    • 5.关闭数据库实例
    • 6.启动数据库实例
    • 7.将数据库切换到归档模式
    • 8.打开数据库
    • 9.列出数据库中所有的归档日志
    • 10.退出数据库
  • 六、数据库开启补充日志
  • 七、为要采集的表开启补充日志
  • 八、创建表
  • 九、connector完整配置
  • 十、提交Connector
  • 十一、查看Connector状态
  • 十二、往Oracle数据库表中插入数据
  • 十三、查看数据是否采集到Topic中
  • 十四、消费Topic,查看数据格式
  • 十五、实现多张表的数据发往一个指定的Topic
  • 十六、总结

一、需求描述

  • 使用Debezium实时采集Oracle数据库的数据发送到Kafka集群Topic
  • 实现一张表一个Topic
  • 实现多张表的数据发往一个Topic

二、部署Debezium集群和Oracle连接器

  • Debezium系列之:安装部署debezium详细步骤,并把debezium服务托管到systemctl
  • Debezium分享系列之:部署Debezium采集Oracle数据库的详细步骤

三、安装Oracle数据库

  • Oracle数据库从入门到精通系列之二十:Linux上使用容器数据库(CDB)方式部署Oracle数据库19c详细步骤

更多Oracle数据库知识请阅读博主数据库专栏相关技术博客:

    你可能感兴趣的:(debezium,Debezium系列,Debezium技术专栏,第300篇系列文章,实时采集Oracle数据库数据,Kafka集群)