首先我们来看一下整体结构图：日志收集入口首先，我们需要到各个应用服务器上部署flume进行日志采集，当然也可以通过flume支持的source协议或者自定义source进行日志原始数据收集，统一流入flume汇总收集入口。这里通常采用日志服务器上部署flume，然后通过hadoop的arvo协议进行传输。如下图所示：日志汇总将各个节点日志原始信息统一汇总到一个flume节点，然后通过该节点进行数据 ......
Flume NGFlume NG是一个分布式、可靠、可用的系统，它能够将不同数据源的海量日志数据进行高效收集、聚合、移动，最后存储到一个中心化数据存储系统中。由原来的Flume OG到现在的Flume NG，进行了架构重构，并且现在NG版本完全不兼容原来的OG版本。经过架构重构后，Flume NG更像是一个轻量的小工具，非常简单，容易适应各种方式日志收集，并支持failover和负载均衡。架构设计 ......
hadoop集群安装官网下载：http://hadoop.apache.org/# tar -zxvf hadoop-xxxxxxx.tgz配置文件#vi etc/hadoop/core-site.xml:
<configuration>
<property>
&nbs ......
Storm集群安装Storm集群也依赖Zookeeper集群，要保证Zookeeper集群正常运行。Storm的安装配置比较简单，我们仍然使用下面3台机器搭建： 192.168.4.142 h1
192.168.4.143 h2
192.168.4.144 h3首先，在h1节点上，执 ......
kafka集群安装(利用上面server1,server2,server3,下面以server1为实例) 1)下载地址：http://kafka.apache.org/downloads.html,保存到服务器目录下kafka_***.tgz 2)解压 tar -zxvf kafka-0.8.0-beta1-src.tgz,产 ......
zookeeper集群 zookeeper是一个为分布式应用提供一致性服务的软件，它是开源的Hadoop项目的一个子项目，并根据google发表的一篇论文来实现的。zookeeper为分布式系统提供了高笑且易于使用的协同服务，它可以为分布式应用提供相当多的服务，诸如统一命名服务，配置管理，状态同步和组服务等。zookeeper接口简单，我们 ......
什么是Flume? flume 作为 cloudera 开发的实时日志收集系统，受到了业界的认可与广泛应用。Flume 初始的发行版本目前被统称为 Flume OG（original generation），属于 cloudera。但随着 FLume 功能的扩展，Flume OG 代码工程臃肿、核心组件设计不合理、核心配置不标准等缺点暴露出来，尤其是在 Flume OG 的最后一个发行版本 0. ......
架构介绍架构：Flume—》kafka—》storm—》hdfs 框架介绍文章：http://www.tuicool.com/articles/mMrQnu7*FLUME架构介绍：http://shiyanjun.cn/archives/915.htmlFLUME安装，部署：http://www.aboutyun.com/thread-8917-1-1.html*Kafka+storm+ ......