Kafka02 - Kafka快速入门

Kafka快速入门

一：安装部署

1：集群规划

服务器hadoop102	服务器hadoop103	服务器hadoop104
zk	zk	zk
kafka	kafka	kafka

三台服务器分别安装zk和kafka

2：集群部署

1：下载压缩包

2：解压安装包

tar -zxvf kafka_2.12-3.0.0.tgz -C /opt/module/ # 解压后的文件放到/opt/module/中

# 修改解压后的文件名称
cd /opt/module
mv kafka_2.12-3.0.0/ kafka

3：进入到/opt/module/kafka目录，修改配置文件

cd config/
vim server.properties

# 输入下面的内容
# import_1==========> broker的全局唯一编号，不能重复，只能是数字。
broker.id=0
# 处理网络请求的线程数量
num.network.threads=3
# 用来处理磁盘IO的线程数量
num.io.threads=8
# 发送套接字的缓冲区大小
socket.send.buffer.bytes=102400
# 接收套接字的缓冲区大小
socket.receive.buffer.bytes=102400
# 请求套接字的缓冲区大小
socket.request.max.bytes=104857600
# import_2 ===================> kafka运行日志(数据)存放的路径，路径不需要提前创建，kafka自动帮你创建
# 可以配置多个磁盘路径，路径与路径之间可以用"，"分隔
log.dirs=/opt/module/kafka/datas
# topic在当前broker上的分区个数
num.partitions=1
# 用来恢复和清理data下数据的线程数量
num.recovery.threads.per.data.dir=1
# 每个topic创建时的副本数，默认时1个副本
offsets.topic.replication.factor=1
# segment文件保留的最长时间，超时将被删除
log.retention.hours=168
# 每个segment文件的大小，默认最大1G
log.segment.bytes=1073741824
# 检查过期数据的时间，默认5分钟检查一次是否数据过期
log.retention.check.interval.ms=300000
# import_3 =======> 配置连接Zookeeper集群地址（在zk根目录下创建/kafka，方便管理）
zookeeper.connect=hadoop102:2181,hadoop103:2181,hadoop104:2181/kafka

4：分发安装包

xsync kafka/

5：分别在hadoop103和hadoop104上修改配置文件/opt/modu