kafka集群

安装

(利用上面server1,server2,server3,下面以server1为实例)

    1)下载地址：http://kafka.apache.org/downloads.html,保存到服务器目录下kafka_***.tgz

    2)解压 tar -zxvf kafka-0.8.0-beta1-src.tgz,产生文件夹kafka-0.8.0-beta1-src更改为kafka01  

配置

    修改kafka/config/server.properties,其中broker.id,log.dirs,zookeeper.connect必须根据实际情况进行修改，其他项根据需要自行斟酌。大致如下：

broker.id=1 
    port=9092 
    num.network.threads=2 
    num.io.threads=2 
    socket.send.buffer.bytes=1048576 
    socket.receive.buffer.bytes=1048576 
    socket.request.max.bytes=104857600 
    log.dir=./logs 
    num.partitions=2 
    log.flush.interval.messages=10000 
    log.flush.interval.ms=1000 
    log.retention.hours=168 
    #log.retention.bytes=1073741824 
    log.segment.bytes=536870912 
    num.replica.fetchers=2 
    log.cleanup.interval.mins=10 
    zookeeper.connect=192.168.0.1:2181,192.168.0.2:2182,192.168.0.3:2183 
    zookeeper.connection.timeout.ms=1000000 
    kafka.metrics.polling.interval.secs=5 
    kafka.metrics.reporters=kafka.metrics.KafkaCSVMetricsReporter 
    kafka.csv.metrics.dir=/tmp/kafka_metrics 
    kafka.csv.metrics.reporter.enabled=false

注：远程连接需要配置advertised.host.name=192.168.1.12

操作命令

启动kafka

#./bin/kafka-server-start.sh config/server.properties &

创建Topic

#./bin/kafka-topics.sh --zookeeper 192.168.1.12:2181 --replication-factor 1 --partitions 1 --topic mytopic --create

查看Topic

#./bin/kafka-topics.sh  --list --zookeeper 192.168.1.12:2181

创建生产者

#./bin/kafka-console-producer.sh --broker-list 192.168.1.12:9092 --topic mytopic

创建消费者

#./bin/kafka-console-consumer.sh --zookeeper 192.168.1.12:2181 --topic mytopic --from-beginning

注：如果和其他组件共用zookeeper需要把zookeeper地址都改为192.168.1.12:2181/kafka