Kafka 消息队列 --kafka 集群部署

1、Kafka 初体验 

单机 Kafka 试玩

官网网址：http://kafka.apache.org/quickstart

中文官网：http://kafka.apachecn.org/quickstart.html 

2、集群部署的基本流程总结 

1、下载安装包

2、解压安装包到对应的目录

3、修改配置文件

4、分发安装包

5、启动集群，进行验证 

3、集群部署的基础环境准备 

1、安装 JDK 1.8

2、安装 zookeeper 集群（也可以使用自带 ZooKeeper） 

4、Kafka 集群详细安装 

1、下载安装包 在 windows 平台，

从官网下载：http://mirrors.hust.edu.cn/apache/kafka/1.1.0/

在 centos 平台：wget http://mirrors.hust.edu.cn/apache/kafka/1.1.0/kafka_2.11-1.1.0.tgz 

2、解压安装包到对应的目录

[hadoop@hadoop05 ~]$ tar -zxvf kafka_2.11-1.1.0.tgz  -C apps/ 

3、修改配置文件

[hadoop@hadoop05 ~]$ cd /home/hadoop/apps/kafka_2.11-1.1.0/config

[hadoop@hadoop05 config]$ vi server.properties 

修改以下内容： 

4、分发安装包

[hadoop@hadoop05 apps]$ scp -r kafka_2.11-1.1.0/ hadoop02:$PWD

[hadoop@hadoop05 apps]$ scp -r kafka_2.11-1.1.0/ hadoop03:$PWD

[hadoop@hadoop05 apps]$ scp -r kafka_2.11-1.1.0/ hadoop04:$PWD  

千万注意：要修改$KAFKA_HOME/config/server.properties 文件中的对应 broker 节点的信息 主要是以下三个： 

5、配置环境变量

vim ~/.bashrc 增加以下内容：  

保存退出 然后执行命令时生效：source ~/.bashrc 

6、启动集群，进行验证 

启动命令：