Canal + Kafka 同步 MySQL 数据到 Redis

解决缓存和数据库一致性问题

一般来说，缓存中的数据没什么问题，但是数据库更新后，就容易出现缓存（Redis）和数据库（MySQL）间的数据一致性问题。由于写和读是并发的，没法保证顺序，就会出现缓存和数据库的数据不一致的问题

Canal工作原理
canal模拟mysql slave的交互协议，伪装自己为mysql slave，向mysql master发送dump协议
mysql master收到dump请求，开始推送binary log给slave(也就是canal)
canal解析binary log对象(原始为byte流)

可参考官方文档

QuickStart · alibaba/canal Wiki · GitHub

1、Kafka，ZK安装略，本博主其它文章有

        安装好后，先启动ZK，在启动Kafka

acks=0，生产者发送过来的数据不管是否成功都不管。

acks=1，只有当kafka的分区Leader节点应答后才会继续发送数据。

acks=-1，只有当Leader和ISR队列里所有节点都应答后才继续发消息。

2、win10编辑my.ini

[mysqld]
#开启 binlog
log-bin=mysql-bin
#选择 ROW 模式
binlog-format=ROW 
# 配置 MySQL replaction 需要定义，不要和 canal 的 slaveId 重复
server_id=1 

        

开启授权
CREATE USER canal IDENTIFIED BY 'canal';  
GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'canal'@'%';
-- GRANT ALL PRIVILEGES ON *.* TO 'canal'@'%' ;
FLUSH PRIVILEGES;

3、下载canal

        下载地址：Releases · alibaba/canal · GitHub

解压后会有5文件夹

进入conf

编辑canal.properties

#################################################
######### 		common argument		#############
#################################################
# tcp bind ip
canal.ip =
# register ip to zookeeper
canal.register.ip =
canal.port = 11111
canal.metrics.pull.port = 11112
# canal instance user/passwd
# canal.user = canal
# canal.passwd = E3619321C1A937C46A0D8BD1DAC39F93B27D4458

# canal admin config
#canal.admin.manager = 127.0.0.1:8089
canal.admin.port = 11110
canal.admin.user = admin
canal.admin.passwd = 4ACFE3202A5FF5CF467898FC58AAB1D615029441
# admin auto register
#canal.admin.register.auto = true
#canal.admin.register.cluster =
#canal.admin.register.name =

canal.zkServers =
# flush data