主页 > 新闻资讯 > 加米谷大数据学习—Flume介绍

加米谷大数据学习—Flume介绍

作者:张老师 浏览次数: 2021-09-13 16:03
相信大家对Hadoop、spark这些都不陌生,这些作为大数据的核心模块,接触的是最多的。而今天我们就来了解一下Flume。


Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统,Flume可以采集文件,将采集好的文件输出到HDFS、hbase、hive、kafka等众多外部存储系统中。

下面我们就来具体的了解一下Flume:

1、Flume的架构


Flume是有source、channel、sink组成,传输过程:日志源-->source-->channel-->sink-->HDFS
Source::采集源,用于跟数据源对接,以获取数据;
Sink::下沉地,采集数据的传送目的,用于往下一级agent传递数据或者往最终存储系统传递数据;
Channel : angent内部的数据传输通道,用于从source将数据传递到sink。

2、Flume多个agent串联


3、agent的配置文件


A.需要定义agent的名字,还需要定义source,channel,sink(名字,有几个)
B.需要对source,channel,sink指明具体的类型和配置
C.需要指明source,channel,sink三者之间的一个关系
注意:一个sink只能对应一个channel,一个channel可以对应多个sink

以上就是对Flume的介绍了,希望对大家能有所帮助,如果想了解更多详情,请点击成都加米谷大数据官网吧!成都大数据培训学校大数据开发培训、数据分析与挖掘,零基础班本月正在招生中,课程大纲及试学视频可免费获取!
热点排行
推荐文章
立即申请>>