storm 集群 安装 部署

Storm：
ip地址 主机名 用户名 java Python nimbus supervisor 安装目录 启动命令
192.168.0.91 storm001 storm 是 是 是[主] 是 /opt/storm/storm bin/storm nimbus >/dev/null 2>&1 &
bin/storm ui >/dev/null 2>&1 &
bin/storm supervisor >/dev/null 2>&1 &
192.168.0.92 storm002 storm 是 是 是[从] 是 /opt/storm/storm bin/storm nimbus >/dev/null 2>&1 &
bin/storm supervisor >/dev/null 2>&1 &
192.168.0.93 storm003 storm 是 是 是 /opt/storm/storm bin/storm supervisor >/dev/null 2>&1 &

storm ui界面 http://192.168.0.91:8080/index.html

二、Storm安装及配置
1、安装前准备：
Linux系统：CentOS release 6.6 (Final)


创建用户：useradd storm
修改密码：passwd storm


修改主机名：
Sudo vi /etc/hosts
 
Sudo vi /etc/sysconfig/network
 
source /etc/sysconfig/network


临时修改主机名：
hostname storm001


建立文件夹：sudo mkdir /opt/    sudo chown –R storm:storm /opt/


 
2、jdk1.8安装：
下载地址：http://download.oracle.com/otn-pub/java/jdk/8u111-b14/jdk-8u111-linux-x64.tar.gz
解压：
cd /opt/
tar –zxvf jdk-8u111-linux-x64.tar.gz

配置环境变量：
vi /home/storm/.bashrc
 
检查安装：
Java –version
 

3、Python安装(本例为系统自带2.6.6)：
下载地址：https://www.python.org/download/releases/2.6.6/python-2.6.6.tar.gz
解压：
tar –zxvf python-2.6.6.tar.gz


配置环境变量：
vi /home/storm/.bashrc


检查安装：
Python -version
 
4、Zookeeper安装
下载地址：http://mirrors.cnnic.cn/apache/zookeeper/zookeeper-3.4.8/zookeeper-3.4.8.tar.gz
解压：
cd /home/
tar –zxvf zookeeper-3.4.8.tar.gz
创建软连接：
Ln –s zookeeper-3.4.8.tar.gz zookeeper

修改配置文件：
cd /home/zookeeper
vi conf/zoo.cfg
 
启动：
bin/zkServer.sh start


5、storm-1.0.2安装：
下载地址：http://www.apache.org/dyn/closer.lua/storm/apache-storm-1.0.2/apache-storm-1.0.2.tar.gz
解压：
cd /opt/  mkdir storm
cd /opt/storm
tar –zxvf apache-storm-1.0.2.tar.gz
创建软连接：
Ln –s apache-storm-1.0.2.tar.gz storm

修改配置文件：
cd /opt/storm/storm
vi conf/storm.yaml
 
解析配置文件：
为Storm集群服务的Zookeeper集群的主机列表
storm.zookeeper.servers:
     - "storm001"
     - "storm002"
     - "storm003"
Zookeeper集群端口：
storm.zookeeper.port : 2181


nimbus 节点，本例要配置nimbus主从，所以注销
# nimbus.host: "storm001"

nimbus主从节点配置：
从节点nimbus会在主节点挂掉后启动
nimbus.seeds: ["storm001", "storm002"]


节点数据目录：
storm.local.dir : "/opt/storm/data"


supervisor 端口
对于每个工作节点，可以通过该配置项来设置该节点上运行多少个worker。每个worker使用一个端口接收消息，此设置定义为使用哪些端口是打开的。如果在这里定义5个端口，然后Storm将分配5个Worker在这台主机上运行。如果定义3个端口，Storm只会分配3个worker。此设置默认为在端口6700、6701、6702和6703上配置运行4个worker，如下：
supervisor.slots.ports:
    - 6700
    - 6701
    - 6702
    - 6703


关于storm的属性配置，开头都要保留一个空格，不要用tab键。

启动服务：
bin/storm nimbus >/dev/null 2>&1 &   --master节点
bin/storm supervisor >/dev/null 2>&1 &  --启动子节点 
bin/storm ui >/dev/null 2>&1 &  --启动ui界面
其中 storm ui 启动后，可以通过http://192.168.0.91:8080/index.html观察集群的worker资源使用情况、Topologies的运行状态等信息。而且storm ui必须和storm nimbus部署在同一台机器上，否则UI无法正常工作。
有主从nimbus的集群，从节点的nimbus和ui都要启动


检查启动：
nimbus主节点：
 
nimbus从节点：
 
Supervisor子节点：
 



Ui界面：
 


启动topology任务：
bin/storm jar Storm-1.0-SNAPSHOT.jar com.topology.SdkTopology Topology01 args