Storm集群

安装

Storm集群也依赖Zookeeper集群，要保证Zookeeper集群正常运行。Storm的安装配置比较简单，我们仍然使用下面3台机器搭建：

192.168.4.142   h1
192.168.4.143   h2
192.168.4.144   h3

首先，在h1节点上，执行如下命令安装：

下载地址：http://storm.apache.org/downloads.html 下载apache-storm-***.tar.gz

解压文件

#tar xvzf apache-storm-***.tar.gz

配置

然后，修改配置文件conf/storm.yaml，内容如下所示：

storm.zookeeper.servers:
     - "h1"
     - "h2"
     - "h3"
 
storm.zookeeper.port: 2181
 
nimbus.host: "h1"
 
supervisor.slots.ports:
    - 6700
    - 6701
    - 6702
    - 6703
 
storm.local.dir: "/tmp/storm"

将配置好的安装文件，分发到其他节点上：

Storm集群的主节点为Nimbus，从节点为Supervisor，我们需要在h1上启动Nimbus服务，在从节点h2、h3上启动Supervisor服务：

启动nimbus和supervisor

#bin/storm nimbus &

#bin/storm supervisor &

为了方便监控，可以启动Storm UI，可以从Web页面上监控Storm Topology的运行状态，例如在h1上启动：

#bin/storm ui &

这样可以通过访问http://h1:8080/来查看Topology的运行状况。

插件开发

参考地址：http://shiyanjun.cn/archives/934.html

打包后，在Storm集群上部署并运行这个Topology：

## bin/storm jar ~/storm-examples-0.0.1-SNAPSHOT.jar org.shirdrn.storm.examples.DistributeWordTopology h1

可以通过Storm UI查看Topology运行情况，可以查看HDFS上生成的数据。

异常

Kafka插件报错，log4j错误

参考: http://www.tuicool.com/articles/aIzyqiy